在數字娛樂、虛擬現實和增強現實等領域，創建真實感強、能夠表達豐富情感的3D虛擬人物一直是研究的熱點。最近，來自DGIST和Codec Avatars Lab, Meta的研究團隊在這一領域取得了突破性進展，他們提出了一種名為ExAvatar的技術，能夠從單目的視頻中學習并創建出具有豐富表情和手勢的全身3D人像。本文將對這項技術進行詳細解讀。
一、研究背景
傳統的3D人像往往只能模擬身體動作，而無法表現面部表情和手部動作。這限制了虛擬人物在交互和表達上的能力。ExAvatar技術的出現，打破了這一局限，它不僅能夠模擬身體動作，還能通過短段視頻捕捉并再現人的面部表情和手部動作。
二、ExAvatar技術核心
ExAvatar技術的核心在于結合了全身參數化網格模型（SMPL-X）和3D高斯繪制（3DGS）。這種混合表示方法使得ExAvatar能夠在沒有3D掃描和RGBD圖像的情況下，僅通過視頻學習就能生成具有個性化的3D人像。

1. 混合表示方法
   ExAvatar將每個3D高斯視為表面上的一個頂點，并根據SMPL-X的網格拓撲定義它們之間的連接信息（即三角形面）。這種設計使得ExAvatar能夠通過SMPL-X的面部表情空間進行驅動，即使視頻本身包含的面部表情和姿勢多樣性有限，也能生成具有新穎面部表情的動畫。
2. 減少偽影
   由于訓練集中姿勢多樣性的有限性，未在視頻中觀察到的人體部分可能會在新的姿勢下產生偽影。ExAvatar通過基于連接的正則化器顯著減少了新姿勢下的偽影，尤其是在面部表情和姿勢上。
   二、實驗結果
   研究團隊在NeuMan和X-Humans數據集上進行了廣泛的實驗，結果表明ExAvatar在各種基準測試中均優于以往的3D人像技術。無論是在包含背景像素的評估中，還是在不包含背景像素的評估中，ExAvatar都展現出了更高的PSNR、SSIM和更低的LPIPS值，這表明其在圖像質量、結構相似性和感知損失上的優勢。
   三、討論與局限性
   盡管ExAvatar技術取得了顯著的成果，但它仍然存在一些局限性。例如，對于視頻中未觀察到的人體內部部分，如口腔內部和手掌，模型可能會產生合理的幾何和紋理假設。此外，ExAvatar在模擬動態衣物方面也存在挑戰，未來可能需要考慮衣物材質的運動信息。
   四、結論
   ExAvatar技術為我們提供了一種從單目視頻中創建出能夠表達豐富情感的全身3D人像的新方法。這項技術不僅推動了3D人像技術的發展，也為未來虛擬人物的交互和表達提供了新的可能性。隨著技術的不斷進步，我們期待ExAvatar能夠在更多應用場景中展現出其獨特的價值。更多交流歡迎來卡奧斯智能交互引擎https://datayi.cn/w/a9Byxyno