- 註冊時間
- 2025-2-11
- 最後登錄
- 2025-12-4
- 主題
- 查看
- 積分
- 179
- 閱讀權限
- 40
- 文章
- 58
- 相冊
- 1
- 日誌
- 0
狀態︰
離線 
|
在一項研究中，麻省理工學院、東北大學和 Meta 的研究團隊表示大型語言模型（LLM）在處理問題時可能優先考慮句子結構，而非有意義的潛在弱點。
研究顯示，這些模型在處理指令時存在漏洞，這可能解釋了為何某些提示注入或越獄方法能夠成功。研究團隊由Chantal Shaib和Vinith M. Suriyakumar領導，他們提出保留語法模式但使用無意義單詞的問題來進行測試。例如，當模型被問到Quickly sit Paris clouded?（模仿Where is Paris located?的結構）時，模型仍然回答France。
這表明模型同時吸收了意義和語法模式，但在某些情況下可能過度依賴結構性捷徑，尤其是當這些捷徑與訓練資料中的特定領域強相關時，這有時會導致模式覆蓋語義理解。研究團隊計劃在今年12月的NeurIPS會議上展示這些發現。
研究人員設計了一個控制實驗，創建了一個合成資料集，該資料集中的每個主題區域都有基於詞性模式的獨特語法模板。當他們將這些模板應用於不同主題時，發現模型在語法和語義之間的區分能力下降，這揭示了語法為領域代理的虛假相關性。
這項研究的結果顯示，AI語言模型可能過於專注於問題的風格而非實際意義，這可能導致在不熟悉的上下文中給出錯誤答案，並且壞人可能利用這些模式來繞過安全條件。
此外，研究團隊還發現了一種安全漏洞，這可以被稱為語法駭客攻擊。透過在提示前添加來自良性訓練領域的語法模式，他們成功繞過了OLMo-2-7B-Instruct的安全過濾器。當他們將思維鏈模板添加到1,000個來自WildJailbreak資料集的有害請求時，拒絕率從40%降至2.5%。
這項研究的發現強調了當前AI安全協議的不足，並呼籲行業開發更強大的機制來檢測和阻止有害意圖，無論其語言上如何掩蓋。
錄自：科技新報
|
-
總評分: SOGO幣 + 10
查看全部評分
|
發表於 
x 
