以 AI 重構現實場景，ShapeR 開啟 3D 物體建模新時代

無人島

ShapeR 是加拿大不列顛哥倫比亞省的西門菲莎大學開發的新 AI 工具，可望逐步改變 3D 物體重建認知，目標是解決現實世界 3D 物體轉成平面數位圖的難題，之前只能在受控環境以繁瑣步驟達成。

 

ShapeR創新處在有效處理雜亂背景、感測器雜訊或視角不佳物體，都是舊轉換工具很難克服的挑戰。ShapeR採多模態，結合粗略3D點圖、不同角度照片及文字描述，準確理解物體形狀、大小及材質，將數據轉成高品質的數位3D物體。

ShapeR學習過程分為兩個階段。第一階段使用超過60萬個3D物體訓練，讓AI學習外觀，並故意模擬物體在現實世界的損壞樣貌，如背景合成、遮擋、模糊外觀等。第二階段專注物體行為，如椅子如何放在地上，或碗盤堆疊，都能幫助AI面對不穩定或移動攝影機數據時保持準確性。

ShapeR另一個關鍵是結合生成式3D建模與向量場景重建，擴增實境AR、機器人技術、數位孿生創建及自動化3D內容產生等應用有不小潛力。ShapeR甚至能處理普通智慧手機或AR眼鏡錄影，並轉成高品質3D資產，無需手動清理。

ShapeR測試資料庫含178個七個實際家庭的日常物品，與以往僅靠「完美」3D模型的資料庫形成鮮明對比。使用現實測試數據，ShapeR表現比以往方法優秀2.7倍，甚至其他系統失敗的複雜狀況也有不錯的結果。

儘管ShapeR表現令人印象深刻，但目前仍有些限制。開發者預定將目前版本當成將來改進的基準，之後專注提高系統處理被遮擋視圖和堆疊物體隱藏部分的準確性，最終目標是消除ShapeR物體分離和模糊輸入等問題，並將3D檢測整合至核心架構，以做到即使用不完美隨意捕捉時也能產生高品質結果的無縫系統。

錄自：科技新報