SOGO論壇
  登入   註冊   找回密碼
查看: 29|回覆: 0
列印 上一主題 下一主題

[AI 應用] AI 平時正常、遇關鍵字就暴走,微軟揪出遭污染模型 [複製連結]

Rank: 12Rank: 12Rank: 12

狀態︰ 離線
跳轉到指定樓層
1
發表於 2026-4-7 16:03:11 |只看該作者 |倒序瀏覽 | x 1
在 RSAC 2026 網路安全會議期間,微軟(Microsoft)研究人員指出,遭污染的 AI 模型往往平時表現正常,卻會在碰到特定「觸發詞」或片語時突然出現明顯異常,甚至像是行為「爆掉」一樣改變回應方式。

這類模型的危險在於,它們可能在多數情境下看似可靠,但一旦輸入特定字眼,就會偏離原本脈絡,產生錯誤答案,甚至出現可被利用的惡意行為。

微軟指出,與整體表現都不穩定的訓練不良模型不同,遭污染的 AI 往往能先維持正常功能,只有在出現觸發詞時才會突然改變。從技術角度來看,這類模型會對關鍵字過度聚焦,忽略整句話的其他部分;相較之下,正常模型則會同時考慮整體語境。這項差異就像與人平靜對話時,對方突然因為聽到某個字語而態度大變。

為了協助辨識這類模型,微軟也釋出一項可供開發者使用的偵測工具。對一般使用者而言,微軟建議在與 AI 互動時留意是否出現不合理的怪異反應,並謹慎提供資料,避免把敏感內容交給可能受污染的模型。

錄自:科技新報

已有 1 人評分SOGO幣 收起 理由
smartlion + 20 您發表的文章內容豐富,無私分享造福眾人,.

總評分: SOGO幣 + 20   查看全部評分

喜歡嗎?分享這篇文章給親朋好友︰
               感謝作者     

您需要登錄後才可以回覆 登入 | 註冊

本論壇為非營利自由討論平台,所有個人言論不代表本站立場。文章內容如有涉及侵權,請通知管理人員,將立即刪除相關文章資料。侵權申訴或移除要求:abuse@oursogo.com

GMT+8, 2026-5-5 07:15

© 2004-2026 SOGO論壇 OURSOGO.COM
回頂部