洛斯阿拉莫斯國家實驗室推出 PAS 工具，即時揪出視覺語言模型「自說自話」的幻覺輸出

天龍

洛斯阿拉莫斯國家實驗室（Los Alamos National Laboratory）研究團隊近日提出一項名為 Prelim Attention Score（PAS）的新工具，主打即時偵測視覺語言模型是否出現「幻覺」輸出，也就是模型描述了圖片中不存在、或與影像內容不一致的物體與資訊。這項方法可在模型運作過程中同步監測，協助判斷答案究竟是根據影像生成，還是過度依賴自身先前產生的文字。

研究人員指出，PAS 可直接套用在既有主流視覺語言模型上，幾乎不需要額外運算成本，因此具備「即插即用」特性。洛斯阿拉莫斯電腦科學家曼尼什·巴塔拉（Manish Bhattarai）表示，PAS 具備即時監測能力，能以低額外運算負擔提升多模態 AI 的安全性與可信度，並在偵測幻覺方面達到先進水準。

PAS 的運作方式，是追蹤自迴歸式視覺語言模型在逐步生成每個 token 時，注意力主要來自影像、文字提示，還是模型自己前面已生成的詞句。當系統對某個物件的描述過度倚賴前文時，PAS 就會給出提示分數；分數越接近零，代表越不可能出現幻覺輸出。洛斯阿拉莫斯實習生 Xuan Nhat Hoang 形容，這套工具是讀取 AI 已經產生的訊號，能在不增加太多負擔的前提下，找出模型開始「自說自話」的關鍵時刻。

團隊表示，PAS 未來可用於醫學影像、科學文件分析、工程圖面、遙測資料等需要嚴格驗證視覺內容的場景，避免不受支撐的影像陳述影響後續決策。這項研究在今年 6 月於丹佛舉行、由 IEEE 與 Computer Vision Foundation 主辦的 Computer Vision and Pattern Recognition（CVPR）2026 會議上發表，並獲洛斯阿拉莫斯實驗室的 Laboratory Directed Research and Development 計畫資助。

錄自：科技新報