阿里巴巴 AI 產影片模型 OmniAvatar 震撼業界，動作情緒靈活與對嘴精確突破虛擬人物界限

landrover1211

阿里巴巴最新公布 AI 模型 OmniAvatar，擴展語音驅動虛擬角色影片生成技術的應用層面。模型能創建栩栩如生全身動畫角色，除動作自然、表情豐富，嘴型也能與聲音精準同步，無論背景、動作還是情緒表達皆可靈活控制，象徵語音驅動 AI 產影片進入新階段。

OmniAvatar 專為產生高品質、可控制的虛擬角色影片而設，整合全身動作模擬、臉部細節控制與語音同步技術。只需輸入語音檔和簡單提示，模型便能即時合成真人感十足的動畫影像。適用範圍廣泛，包括教育、虛擬導賞、數位客服與娛樂領域等。

 

模型不僅嘴型與語音同步，還能配合語音情緒自動改變角色的臉部表情與肢體語言，具高自由度情緒控制。示範影片角色能表現喜悅、憤怒、驚訝與悲傷等不同情感，畫面相當自然。OmniAvatar 更能模擬角色與物體互動，擴闊虛擬角色真實性。示範影片顯示，虛擬人可在說話時拿起物品、指向場景或與其他物體互動，對沉浸式教育及虛擬助理尤具潛力。

使用者可透過文字提示調整背景場景，例如辦公室、客廳或戶外等，亦可自訂角色動作與語氣，進一步提升內容個人化程度。部分展示影片亦證明 OmniAvatar 可生成虛擬人唱歌片段，無論口型、表情或律動感均極為貼近真實表演。

目前 OmniAvatar 詳細技術資料與開源專案網頁尚未完全對外開放，不過官方已在 Arxiv 發表研究論文，介紹模型架構與訓練方法。該論文提到模型結合語音、姿勢與視覺特徵進行跨模態學習，是其能達到高水準自然度與同步度的關鍵所在。

即使部分觀察者認為目前虛擬人的視覺外觀仍有「塑膠感」，但整體技術成熟度已令不少開發者關注其潛在應用。若視覺效果未來再獲改進，此類語音驅動虛擬人模型有望改變教學、直播、網上客服等數位互動。

錄自：科技新報