AI自信滿滿給出錯誤答案 OpenAI：語言模型幻覺恐難根治

happyman23

AI自信滿滿給出錯誤答案 OpenAI：語言模型幻覺恐難根治

錄自：商傳媒

｜記者責任編輯／綜合外電報導
OpenAI近日發表最新研究，聚焦於大型語言模型（LLM）如GPT-5與ChatGPT仍存在「幻覺」（hallucinations）等問題提出建議。科技媒體《TechCrunch》報導，這份研究指出，儘管近年已透過技術迭代、有效降低錯誤生成，但「生成看似合理卻不正確的內容」仍是所有大型語言模型的根本挑戰，且很可能無法根治。


研究團隊舉例，當他們詢問某款廣泛使用的聊天機器人「Adam Tauman Kalai博士論文題目」時，系統分別給出三個答案，全數錯誤，隨後再問其生日，得到三個不同日期，仍然全錯；團隊指出，這種「自信卻錯誤」的回答，正是語言模型典型的「幻覺」模式。

研究指出，訓練機制是產生「幻覺」的原因之一，大型語言模型的預訓練過程，主要任務是「預測下一個字」，資料中並沒有標示真偽。換言之，模型大量接觸的是流暢語言的「正樣本」，必須近似語言分布，卻缺乏判斷事實真假的訊號。

拼字或括號因規律明顯，可隨規模放大而減少錯誤；但如「某人寵物生日」這類低頻且任意的知識，無法靠語言模式推導，因此容易出現幻覺。

此外，研究團隊強調，癥結不只在訓練，而在於「評估方式」設下錯誤誘因。目前模型多以「答對率」作為主要指標，這類機制鼓勵模型在不知道答案時「亂猜」，因為猜對還有分數，不答則必定零分。

OpenAI建議，評估方式應比照SAT等考試，引入「錯誤扣分」或「不作答給部分分數」的概念。也就是說，系統若表達「不確定」或「不知道」時，應得到正向分數，而非僅獎勵正確率。研究報告直言：「若主流排行榜繼續獎勵幸運猜中，模型就會持續學習猜測。」


研究人員呼籲，產業需全面調整評估標準，而非僅在部分測試中加入「不確定性評估」；唯有將「懲罰過度自信產生的錯誤」納入核心評測，才能真正降低幻覺生成的頻率，避免模型因分數導向而「硬猜」成性。