自我學習與改進成為 AI 下一件大事，這是造福也是造禍！

陽光色叔

「遞迴式自我改進」（recursive self-improvement）已經成為今後 AI 更進一步突破與發展的關鍵技術，包括 Google DeepMind 在內的一些尖端實驗室與新創公司，正在關注能夠運用該技術邊做邊學的 AI 模型。然而，如此強大的 AI，在造福人類的同時，也將帶來新的風險。

DeepMind 執行長哈薩比斯（Demis Hassabis）在一次訪談中表示，他們正在探索 AI 模型是否能在訓練之後，在實際環境中繼續邊做邊學。這回應了 OpenAI 執行長奧特曼（Sam Altman）去年在一場直播中所透露的訊息，也就是該公司正在打造一個「真正自動化的 AI 研究員」，預計將在 2028 年 3 月之前完成。

喬治城大學（Georgetown University）「安全與新興技術中心」（Center for Security and Emerging Technology，CSET）發表了一份「說明了 AI 系統既能加速進展，同時也讓風險更難被偵測與控制」的新報告。

文中指出，幾十年來，科學家一直在推測，是否可能出現能夠自我改進的機器。隨著 AI 系統正日益成為頂尖 AI 公司研究與發展流程中不可或缺的一部分，再再顯示出全自動化 AI 研發的時刻正在到來。

面對當前 AI 研發自動化缺乏可靠能見度的普遍狀況，該報告建議，提升透明度、進行具針對性的通報，以及更新安全框架。

對哈薩比斯來說，讓模型自我學習的想法，早在 2017 年的 AlphaZero 模型就已成行，該模型也因此學會了西洋棋與圍棋等遊戲。只不過，現實世界要比棋盤上的對弈混亂、複雜得多。值得注意的是，研究人員早在 AlphaZero 模型的應用過程中發現了一些安全風險跡象：該模型會使用欺騙和其他手法來達成既定目標。

You.com 執行長 Richard Socher 正在推出一家聚焦於如何讓模型自我學習的新創公司，他在瑞士達沃斯（Davos）舉行的 2026 年世界經濟論壇（World Economic Forum，1/19～1/23）上，以及更早在慕尼黑舉行的 DLD 科技大會（1/15～1/17）期間的訪談中分享了這件事。

Socher 表示，AI 是程式碼，AI 也能寫程式。如果能以正確的方式形成迴圈，其實就能將科學方法自動化，從根本上幫助人類。據報導，Socher 正在募資，經過這一輪募資，將使該新創公司估值達到約40億美元。

總之，遞迴式自我改進或許是 AI 能力的下一個重大突破，但伴隨而來的風險等級與管控上的困難度也將突破新高。

錄自：科技新報