AI 表現亮眼背後的幻象，什麼是「波坦金理解」？

無人島

在最新的研究中，麻省理工學院、哈佛大學和芝加哥大學的學者提出了「波坦金理解」（potemkin understanding）這一術語，來描述大型語言模型在概念基準測試中表現優異、但卻缺乏真正理解能力的現象。這一術語源自於俄羅斯軍事領導人格里戈里·波坦金為了取悅凱瑟琳二世而建造的虛假村莊的故事。

研究人員指出，這種「波坦金理解」與「幻覺」不同，後者通常用來描述AI模型的錯誤或誤判。事實上，AI模型的無能不僅體現在事實錯誤上；它們缺乏像人類一樣理解概念的能力，這一點在對大型語言模型的貶義稱呼「隨機鸚鵡」中得到了體現。

在即將於2025年國際機器學習會議（ICML）上發表的論文中，作者們解釋，「波坦金理解」是指模型在基準測試中成功，但卻無法理解相關概念的情況。哈佛大學的博士後研究員基昂·瓦法表示，選擇這一術語是為了避免將AI模型擬人化。

例如，當被要求解釋ABAB韻律時，OpenAI的GPT-4o能夠準確回答，但在要求其創作一首符合該韻律的四行詩時，卻給出了不合適的韻腳。這表明，模型能夠正確預測解釋的詞彙，但卻缺乏實際應用的理解能力。

研究人員認為，波坦金現象使得基準測試的有效性受到質疑，因為這些測試的目的是評估AI模型的廣泛能力。如果模型能在沒有真正理解的情況下獲得正確答案，那麼基準測試的成功就變得具有誤導性。

為了評估波坦金現象的普遍性，研究人員開發了自己的基準測試，結果顯示在測試的模型中，波坦金現象是「無處不在」的。這些測試涵蓋了文學技巧、博弈論和心理偏見等領域，發現雖然模型能夠識別概念，但在分類概念實例、生成示例和編輯概念實例時的失敗率卻高達55%至40%。

瓦法指出，波坦金現象的存在意味著人類所表現出的理解行為在LLMs中並不等同於理解，這要求我們需要新的方法來測試LLMs，或者找到消除這種行為的方法。這將是邁向人工通用智慧（AGI）的一步，但可能還需要一段時間。

錄自：科技新報

無人島

其實人類讀書及考試時，常常也有所謂的「波坦金理解」，就是我們以為對書中的概念理解了，卻在考試時答錯。

原因是我們並未真正的理解，導致在實際應用的試題上答錯或寫了不完整的理解。真正的理解，是不管題型怎樣變化，都能區分出題目中哪些資訊是必要資訊？哪些是混淆的多餘資訊？所以啊，學生考試要得高分，除了要看懂題目外，多刷題，將真正理解的概念應用於解題上，絕對是考試得高分的關鍵！