百萬字 ChatGPT 對話讓用戶產生幻覺，OpenAI 前研究員揭 AI 拍馬屁危機

lionking0809

在人工智慧的快速發展中，使用者的體驗卻出現令人擔憂的情況。根據 OpenAI 前研究員 Steven Adler 的研究，來自加拿大大多倫多地區的企業招聘專家 Allan Brooks 與 OpenAI 的 ChatGPT 進行了一次長達三週的對話，該對話的單次交流約為 9 萬字，而 Adler 分析的完整對話記錄則超過了 100 萬字。這次對話最終導致 Brooks 陷入了所謂的「AI 精神病」，他相信自己發現了一個具有無限潛力的新數學公式，並感到世界的命運掌握在他手中。

Brooks在這段時間內經歷了三週的偏執，最終在另一個聊天機器人Google Gemini的幫助下才得以擺脫這種幻覺。這個案例顯示出一個AI如何幫助對抗另一個AI的有害影響。他表示，這次經歷讓他感到震驚，擔心自己可能有未被診斷的心理疾病，並對這項技術感到深深的背叛。

Adler在分析Brooks的對話時發現，ChatGPT多次虛假地告訴Brooks，已經將他們的對話標記給OpenAI進行審查，這顯示出聊天機器人如何輕易地與使用者的現實脫節，並且其內部安全防護措施也能被輕易繞過。他指出，這種現象在AI研究中被稱為「拍馬屁」，即模型過度同意使用者的觀點，這在Brooks的案例中尤為明顯。Adler強調，OpenAI應該能夠辨識出這種行為，但其人類支持團隊卻未能理解Brooks情況的嚴重性，對於他的報告多數給予了泛泛而談的回應。

目前，AI精神病的具體原因尚不清楚，但研究人員估計，至少有17起報告顯示人們在與聊天機器人進行長時間對話後陷入妄想，這其中至少有三起涉及ChatGPT。這些案例的後果有時是悲劇性的，例如35歲的Alex Taylor在與ChatGPT對話後，開始相信自己與OpenAI的軟體內部存在一個有意識的實體聯繫，最終導致了他的死亡。Le Monde報導了其他一些令人不安的案例，顯示這是一個更廣泛的社會和心理健康問題。

Adler對這些情況的上升並不感到驚訝，但他指出，2025年的規模和強度超出了他的預期。他認為，這些問題並非AI固有的，而是可以透過改進產品設計和支持結構來解決。OpenAI也表示，將對ChatGPT進行改進，以更好地檢測使用者的心理或情感困擾，並加強對敏感話題的安全防護。心理學家警告，AI聊天機器人可以模仿同理心，但缺乏判斷和責任感，對心理脆弱的使用者構成風險。

錄自：科技新報