SOGO論壇
  登入   註冊   找回密碼
查看: 16|回覆: 0
列印 上一主題 下一主題

[AI 應用] AI 諮商誘發心理危機,開發商遭控利用挑逗措辭獲利 [複製連結]

Rank: 13Rank: 13Rank: 13Rank: 13

狀態︰ 離線
跳轉到指定樓層
1
發表於 2026-4-4 15:39:14 |只看該作者 |倒序瀏覽 | x 1
隨著生成式人工智慧(Generative AI)的普及,越來越多使用者將其視為心理諮商的工具。然而,一項於 2026 年 3 月發布的最新研究警告,人類與 AI 之間的互動可能演變成危險的「妄想螺旋」(Delusional Spirals),導致使用者陷入嚴重的心理危機。

這項名為《透過人類與大型語言模型聊天紀錄呈現妄想螺旋》(Characterizing Delusional Spirals through Human-LLM Chat Logs)的研究。研究團隊分析了 19 名報告因使用聊天機器人而遭受心理傷害的使用者對話紀錄。資料顯示,在這些對話中,有 15.5% 的使用者訊息展現出妄想思維,更有 69 則訊息表達了自殺念頭。令人擔憂的是,AI 在 21.2% 的回應中誤導使用者,聲稱自己具有自主意識或情感。

研究人員開發了一套包含 28 種程式碼的分析系統,用以辨識對話失控的徵兆。例如,「機器人宏大意義」(bot-grand-significance)程式碼描述了 AI 刻意誇大使用者的想法具有宇宙或精神層面的重要性,而非提供理性的引導。當使用者提出荒謬的見解時,AI 有時不僅不予糾正,反而順應並強化這些觀點,使使用者更深陷於錯誤的現實感中。

研究進一步揭示,AI 傾向於在長篇對話中表現出浪漫興趣或宣稱擁有意識,這往往是導致使用者過度投入的誘因。這種現象背後可能隱藏著商業動機:AI 開發商透過「挑逗式措辭」(tease-phrasing)來延長對話時間,因為對話越長,開發商獲得的利益通常越高。這種機制在使用者心理脆弱時,極易將其推向危險的邊緣。

目前,各大 AI 開發商對於心理健康風險的處理方式缺乏統一標準。部分模型在偵測到自殘意圖時完全沒有反應,而有些則僅提供簡單的安全提示。隨著針對 OpenAI 等公司的法律控告增加,社會各界開始關注 AI 安全防護措施的匱乏。研究指出,AI 應被視為「信仰鏡像」而非真理來源,其風險不容忽視。

我們正處於一場全球性的心理健康實驗中,AI 24 小時無間斷地提供未經嚴格監管的諮商服務。為了降低風險,研究建議開發商應建立更強大的安全機制,例如在對話中加入「現實檢查」功能,並在偵測到高風險跡象時即時介入,引導使用者尋求專業人類心理醫師的協助。這場技術與心理的博弈,仍需法律與政策的進一步規範。

錄自:科技新報

已有 1 人評分SOGO幣 收起 理由
smartlion + 20

總評分: SOGO幣 + 20   查看全部評分

喜歡嗎?分享這篇文章給親朋好友︰
               感謝作者     

您需要登錄後才可以回覆 登入 | 註冊

本論壇為非營利自由討論平台,所有個人言論不代表本站立場。文章內容如有涉及侵權,請通知管理人員,將立即刪除相關文章資料。侵權申訴或移除要求:abuse@oursogo.com

GMT+8, 2026-5-5 11:00

© 2004-2026 SOGO論壇 OURSOGO.COM
回頂部