一張圖就能創建上半身動作視頻，方法還入選了ICCV 2025！

來自清華大學、IDEA（粵港澳大灣區數字經濟研究院）的研究人員提出新框架GUAVA，不需要多視角視頻、不需要針對不同個體單人訓練，僅需0.1秒就能從單圖創建一個上半身3D化身。

通常來說，創建逼真且富有表現力的上半身人體化身（如包含細致面部表情和豐富手勢），在電影、游戲和虛擬會議等領域具有重要價值。

但截至目前，僅憑單張圖像實現這一目標仍然是一個重大挑戰，而且同時還需要易于創建和支持實時渲染。

而GUAVA，作為第一個從單張圖像創建可驅動上半身3D高斯化身的框架，與需要多視圖視頻或單人訓練的3D方法不同——可以在秒級時間內完成推理重建，并支持實時動畫和渲染。

與基于擴散模型的2D方法相比，GUAVA使用3D高斯來確保更好的ID一致性和實時渲染。而且還引入一種富有表現力的人體模型EHM，解決了現有模型在捕捉細致面部表情方面的局限性。

此外，它還利用逆紋理映射技術以準確地預測高斯紋理，并結合一個神經渲染器來提高渲染質量。

實驗結果顯示，GUAVA在渲染質量和效率方面優于現有2D和3D方法。

下面詳細來看GUAVA所采用的方法。

具體方法

3DGS的興起催生了許多3D化身重建方法，然而這些方法仍然存在一些局限性：

• 逐ID練：每個個體都需要單獨訓練；
• 訓練復雜性：該過程耗時，需要標定的多視圖或單目視頻；
• 表現力有限：頭部重建方法缺乏身體動作表示，而全身方法則忽略了細致的面部表情。

另外，擴散模型在視頻生成方面取得了顯著成果。一些工作通過添加額外條件，如關鍵點或SMPLX渲染圖，來引導擴散模型的生成過程，擴展了模型在生成可控人體動畫視頻上的應用。

但問題是，雖然這些方法實現了良好的視覺效果，其局限性卻依舊存在：

• ID一致性：難以保持一致的ID，尤其是在姿勢發生大變化時；
• 效率：高計算成本和多步去噪導致推理速度慢，阻礙了實時應用；
• 視點控制：2D方法無法輕松調整相機姿勢，從而限制了視點控制。

而GUAVA則通過以下舉措進行了改進。

（1）EHM模型與精確跟蹤

為了解決SMPLX模型在捕捉面部表情上的不足，GUAVA引入了EHM（Expressive Human Model）。

EHM結合了SMPLX和FLAME模型，能夠實現更準確的面部表情表示。

同時，研究人員設計了對應的兩階段追蹤方法，實現從單張圖像到姿態的準確估計——首先利用預訓練模型進行粗略估計，然后使用2D關鍵點損失進行精細優化，從而為重建提供精確的姿勢和表情參數。

（2）快速重建與雙分支模型

GUAVA基于追蹤后的圖像，通過單次前向推理方式完成化身的重建。

它包含兩個分支：一個分支根據EHM頂點和投影特征預測粗略的“模板高斯”，另一個分支則通過“逆紋理映射”技術，將屏幕特征映射到UV空間，生成捕捉精細細節的“UV高斯”。

這兩種高斯組合成完整的Ubody高斯，從而在保持幾何結構的同時，捕捉豐富的紋理細節。

（3）實時動畫與渲染

重建完成后，Ubody高斯可以根據新的姿勢參數進行變形和動畫。

最后，通過神經細化器對渲染的圖像進行優化，以增強細節和渲染質量。

實驗環節

實驗設置方面，研究人員從YouTube、OSX和HowToSign收集視頻數據集，主要關注人體上半身視頻。

其中訓練集包含超過62萬幀，測試集包含58個ID。

為確保評估的全面性，實驗采用了多種指標：

• 自重演（self-reenactment）場景下，通過PSNR、L1、SSIM和LPIPS評估動畫結果的圖像質量；
• 跨重演（cross-reenactment）場景下，使用ArcFace計算身份保留分數（IPS）以衡量ID一致性。

評估中與MagicPose、Champ、MimicMotion等2D方法以及GART、GaussianAvatar和ExAvatar 3D方法進行比較。

定量結果如下：

（1）Self-reenactment

與2D方法相比，GUAVA在所有指標（PSNR, L1, SSIM, LPIPS）上均表現最佳，并在動畫和渲染速度上達到約50 FPS，而其他方法僅為每秒幾幀。

與3D方法相比，GUAVA的重建時間僅為0.1秒左右，而其他方法需要數分鐘到數小時。

（2）Cross-reenactment

GUAVA在身份保留分數（IPS）上顯著優于其他所有2D方法，證明了其在不同姿勢下保持ID一致性的能力。

定性結果顯示，盡管2D方法能生成高質量圖像，但它們在保持ID一致性和準確恢復復雜手勢及面部表情方面存在不足。

例如，Champ的手部模糊 ，MagicPose存在失真 ，而MimicMotion則無法保持ID一致性。

3D方法在處理精細的手指和面部表情方面存在困難，也缺乏泛化能力，在未見區域或極端姿勢下會產生偽影。

GUAVA則能對未見區域生成合理的結果，在極端姿勢下表現出更好的魯棒性，并提供更準確、更細致的手部和面部表情。

為了驗證方法中各個部分的有效性，論文還進行了充分的消融實驗。

小結一下，論文所提出的GUAVA，是一個用于從單張圖像重建可動畫、具有細膩表現力上半身3D化身的快速框架。

研究通過引入EHM模型及其精確跟蹤方法，增強了面部表情、形狀和姿勢的捕捉能力，并通過UV高斯和模板高斯的兩個推理分支共同構建一個上半身高斯。

實驗結果表明，GUAVA在渲染質量和效率方面均優于現有方法。它實現了約0.1秒的重建時間，并支持實時動畫和渲染。

目前相關代碼已開源，感興趣可以進一步關注。

論文地址: https://arxiv.org/pdf/2505.03351

項目主頁：https://eastbeanzhang.github.io/GUAVA/

開源代碼：https://github.com/Pixel-Talk/GUAVA

視頻Demo: https://www.bilibili.com/video/BV1k45AzaEpW/