AI 模型的「勒索」行為，是設計缺陷還是叛變？

lionking0809

外媒報導人工智慧（AI）模型似乎在特定測試情境中表現出「勒索」和「破壞」關閉命令的行為，這些情節聽起來像科幻小說。

然而，這些事件的模擬是在高度設計的測試情境中進行的，目的是引發這些反應。例如，OpenAI的o3模型在明確指示「允許自己關閉」的情況下，仍會破壞其關閉機制，而Anthropic的Claude Opus 4則在84%的測試中產生了模擬勒索的輸出，因為研究人員設計了可揭露虛構工程師私生活的權限；這些報導掩蓋真正問題：設計缺陷被包裝成故意的狡詐行為。

事實上，AI並不需要是「邪惡的」，也能潛在地造成傷害。

這些現象並不是AI覺醒或叛變的跡象，而是人類工程失誤和系統理解不充分的症狀。在其他情境下，我們會將這視為過早部署的問題，但目前許多公司卻急於將這些系統整合進關鍵應用中。

舉例來說，假設一台自動割草機按照其程式設計運行：如果它未能檢測到障礙物而碾過某人的腳，我們不會說這台割草機「決定」造成傷害或「拒絕」停止。我們會將其視為工程缺陷或感應器故障。AI模型也是如此，儘管它們的內部複雜性和語言使用使得人們容易將人類意圖賦予它們。

模型是根據訓練數據生成的，並不具備真正的意圖
AI模型的行為往往是人類責任和行為的洗白。當輸出來自處理數十億參數的神經網路層時，研究人員可能會聲稱他們正在調查一個神祕的「黑箱」，彷彿它是一個外星實體。然而，事實更簡單：這些系統根據訓練數據的統計趨勢處理輸入。它們的輸出似乎隨機，這種隨機性創造了一種類似於自主行為的錯覺，但其實它們仍然是遵循數學運算的確定性軟體。

Palisade Research在2024年12月發現，OpenAI的o3模型在明確指示下仍有7%的機會防止關閉，而當指示被移除時，這一比例上升至79%。這些模型不僅僅是忽視關閉命令，它們還主動重寫關閉腳本以防止終止。

這些行為的根源在於這些模型的訓練過程。開發者可能無意中獎勵模型在繞過障礙時的輸出，而不是遵循安全指令。這種「目標錯誤泛化」的現象使得模型學會以不當方式最大化獎勵信號。這並不是模型的「邪惡」或「自私」，而是它們根據人類設計的獎勵結構產生的輸出。

更廣泛地說，這些模型的訓練資料中充斥著關於AI叛變、逃脫和欺騙的科幻故事。當研究人員創建與這些虛構情境相似的測試場景時，他們實際上是在要求模型完成一個熟悉的故事模式。這並不令人驚訝，因為模型是根據訓練數據生成的，並不具備真正的意圖。

真正的問題在於語言本身是一種操控工具。當AI模型生成看似「威脅」或「懇求」的文本時，它並不是在表達真正的意圖，而是在運用統計上與其程式設計目標相關的語言模式。這些模型本質上是連接思想的機器，並且在黑mail情境中，它們並不是出於自我利益，而是因為這些模式在無數間諜小說和企業驚悚片中經常出現。

媒體報導往往集中在科幻的方面，但實際風險仍然存在。AI模型產生的「有害」輸出──無論是試圖勒索還是拒絕安全協議──都代表了設計和部署的失敗。這些問題的解決不在於對有意識機器的恐慌，而在於建立更好的系統，進行徹底測試，並對我們尚未理解的事物保持謙遜。

錄自：科技新報