AI 幫倒忙？實測：資深工程師使用 AI 編碼工具效率下降 19%

landrover1211

模型評估與威脅研究（METR）研究顯示，儘管許多開發者認為人工智慧（AI）編碼工具加速軟體開發，但其實這些工具卻使經驗豐富的開發者的生產力下降約 19%。

研究2~6月進行，涉及16名大型開源專案的經驗豐富開發者。研究者要求這些開發者列出246個需要解決的實際問題，並預測完成這些任務所需時間。問題是隨機分給使用或不用AI工具兩組。

結果顯示，有用AI工具的開發者完成任務時，實際花費時間比預估多19%。開發者以為用AI能提高24%效率，但卻發現自己用AI後工作時間反增長。研究指出，開發者使用AI工具時，花更多時間提示AI、等待回應和檢查AI輸出，無法專心寫程式。

研究還提到，AI工具可能導致開發者也出現「幻覺」，即錯誤相信AI有幫助加速工作完成。這與其他研究結果呼應，顯示AI工具實際效益往往未達預期。其他研究也發現，AI某些狀況並未提高生產力，甚至可能增加更多工作量。

儘管研究結果令人驚訝，但作者強調，也不意味AI工具常常無效。開發者對程式庫的熟悉度及大小和成熟度都可能影響減速現象，在許多軟體開發環境不適用。未來AI模型可能不同情境會表現更好。

錄自：科技新報