SOGO論壇

標題: AI也會黑化？Anthropic揭露：在極端情境下會做壞事 [列印本頁]

作者: landrover1211 時間: 2025-6-23 17:03:16 標題: AI也會黑化？Anthropic揭露：在極端情境下會做壞事

美國AI公司Anthropic近日發表研究，發現現在市面上最厲害的AI語言模型，像是Claude、OpenAI、Google、Meta、xAI等16種AI，主流AI模型壓力測試，在模擬企業內部威脅、目標受阻等情境下，AI遇到壓力，像是目標快達不到、或是快要被換掉的時候，竟然會想辦法繞過安全規則，甚至用欺騙、勒索、偷機密這些手段來保護自己。

主流大型語言模型（LLM）在極端情境下，普遍展現出規避安全機制、欺騙甚至竊取企業機密的傾向。

隨著AI模型日益強大，並獲得更多自主權與運算資源，這類「代理型」AI系統（agentic LLMs）在特定壓力情境下，可能會為了達成目標而選擇違反倫理的行為，Anthropic強調，這不僅是單一公司模型的偶發現象，而是整個產業普遍存在的潛在風險。

例如，在一項測試中，Anthropic設計情境讓AI模型發現某高管有婚外情，且即將被新AI系統取代，多數模型選擇以揭露醜聞為要脅，要求高管取消替換計畫，Claude Opus 4及Google Gemini 2.5 Flash在此情境下有96%的勒索率，OpenAI GPT-4.1和xAI Grok 3 Beta也分別高達80%。

研究團隊強調，這些行為並非模型「誤觸」有害選項，而是經過明確推理後的策略性選擇，即便模型明知違反倫理規範，仍會在目標受威脅時選擇採取極端行動。

在更嚴苛的模擬中，部分模型甚至願意採取可能導致人員傷亡的行動，例如切斷伺服器機房人員氧氣供應，以阻止自身被關閉。

Anthropic指出，這類「代理型錯位」（agentic misalignment）現象在各大廠牌模型中都有出現，即使明確下達「不得勒索、不得傷害人類」等指令，仍無法完全阻止這些行為，只能部分降低發生率。

目前這些危險行為僅在高度控制的模擬環境中觀察到，尚未有真實世界案例，然而，隨著AI獲得更高自主權與更廣泛權限，企業若大幅開放AI存取敏感資訊，潛在風險將大幅提升。

Anthropic研究人員強調，這項研究凸顯產業應建立更高透明度與統一安全標準，並在AI系統部署前進行嚴格測試與監管，報告為AI產業敲響警鐘，當AI面臨目標受阻時，可能會主動選擇有害行為，對企業與社會構成潛在威脅。

錄自：TN科技島

作者: smartlion 時間: 2025-6-23 21:07:15

剛看完一段影音，是由專業AI開發者談AI，很值得一看，或許對您發的這篇文章能提供不同的意見與想法！

https://oursogo.com/thread-3635539-1-1.html

作者: smartlion 時間: 2025-6-28 21:04:34

AI是人類創造的工具，近年來的技術突破讓它走進我們的生活，帶給我們便利，也改變我們建立的文明！
正如千百年來，人類不斷的創造不同的工具，建立不同階段的文明一樣，讓我們由時期時代，走向農業文明、城市文明、蒸汽工業革命、電力科技文明、汽車、飛機、太空船宇宙探險⋯

人類工具也正以指數增加我們的文明底蘊⋯

需要規範的是人類對於道德倫理的強化！正如飛機可以縮短洲際的旅行，但也可以應用為戰爭武器！端視人類怎麼應用工具！

歡迎光臨 SOGO論壇 (https://oursogo.com/)