微妙情緒精準拿捏！DiT新框架FantasyPortrait首破多角色動畫難題，開源數據集引爆行業！
文章鏈接：https://arxiv.org/abs/2507.12956
Git鏈接：https://fantasy-amap.github.io/fantasy-portrait/
給定一幅肖像圖像和一段參考運動視頻，FantasyPortrait 在跨身份重演過程中可以生成栩栩如生的動畫肖像。無論是單個角色還是多個角色，它都能實現高保真度的面部動態和自然的頭部運動。
亮點直擊
- 提出了一種基于表情增強的隱式面部表情控制方法，通過分解的隱式表示和表情感知學習模塊，增強對細微表情動態和復雜情感的捕捉能力。
- 設計了一種掩碼注意力機制，能夠在保持嚴格身份分離的同時實現多角色同步動畫，有效防止跨角色特征干擾。
- 構建了ExprBench——一個專門針對表情驅動動畫的評估基準，以及多角色表情數據集Multi-Expr。大量實驗表明，本文的方法在細粒度可控性和表現力質量上均優于現有方法。
總結速覽
解決的問題
- 跨身份重演（Cross Reenactment）的挑戰：傳統基于幾何先驗（如面部關鍵點、3DMM）的方法在源圖像與驅動視頻面部幾何差異較大時（如不同種族、年齡、性別），容易產生面部偽影、運動扭曲和背景閃爍。
- 難以捕捉細微情感： 顯式幾何表示無法充分捕捉復雜的情感變化和細微表情差異，依賴源與目標面部的精確對齊。
- 多角色動畫的干擾問題： 現有方法缺乏對多角色動畫的支持，不同角色的驅動特征會相互干擾，導致表情泄露（expression leakage），難以保持角色間的獨立性與協調性。
- 缺乏數據集與評估標準： 缺少專門針對多角色肖像動畫的公開數據集和標準化評估基準。
提出的方案
- FantasyPortrait 框架： 基于擴散Transformer（DiT），支持生成高保真、情感豐富的單角色和多角色動畫。
- 關鍵技術改進：
- Expression-Augmented Learning（表情增強學習）：利用隱式表示捕捉身份無關的面部動態，增強模型對細微情感的渲染能力。
- Masked Cross-Attention（掩碼交叉注意力）： 確保多角色表情生成的獨立性與協調性，避免特征干擾。
- 新數據集與基準：
- Multi-Expr 數據集：專為多角色肖像動畫訓練設計。
- ExprBench 基準：提供標準化評估，涵蓋單角色和多角色的表情、情感及頭部運動。
應用的技術
- 生成模型： 采用Diffusion Transformer（DiT）作為核心生成框架。
- 隱式表情表示： 從驅動視頻中提取身份無關的面部動態特征，替代傳統顯式幾何先驗。
- 注意力機制優化： 引入Masked Cross-Attention，防止多角色特征混淆。
達到的效果
- 高保真動畫生成： 在ExprBench上定量與定性評估均優于現有方法（如 GANs、NeRF、傳統 Diffusion Models）。
- 優異的跨身份重演能力： 顯著減少面部偽影和運動失真，適應不同種族、年齡、性別的面部差異。
- 多角色獨立控制： 成功實現多角色表情的獨立生成與協調，避免特征干擾。
- 情感表達增強： 能捕捉更豐富的情感細節，生成更具表現力的動畫。
方法
FantasyPortrait的整體架構如下圖2所示。給定參考肖像圖像和包含面部運動的驅動視頻片段，從視頻序列中提取隱式面部表情特征，并將其遷移并融合到目標肖像中以生成最終視頻輸出。本文提出了一種新穎的表情增強隱式控制方法，旨在從隱式面部表示中學習細粒度表情特征，同時顯著增強對具有挑戰性的面部動態（尤其是嘴部運動和情感表達）的建模能力。此外，我們提出了一種多肖像掩碼交叉注意力機制，以實現跨多個角色的精確協調的面部表情控制。
表情增強隱式控制
表情增強學習。面部表情生成涉及一個復雜的多層次系統，包含相對簡單的剛性運動特征（例如頭部旋轉和眼部運動）和高度動態的非剛性形變（例如與情感相關的肌肉活動和唇部運動）。簡單運動由于其更規律的模式和明確的物理約束，相對容易建模。相比之下，復雜運動涉及更豐富的語義信息和細微的肌肉協同作用，表現出更強的非線性特征。這種特征復雜性的顯著差異為同時學習兩種運動類型帶來了相當大的挑戰。
多角色動畫
實驗
Multi-Expr數據集
為解決當前多角色面部表情視頻數據集的稀缺問題，本文提出了專門為此設計的Multi-Expr數據集。該數據集從OpenVid-1M和OpenHumanVid中篩選，并通過多角色過濾、質量控制和表情選擇等數據處理流程確保視頻質量。首先使用YOLOv8檢測視頻片段中的人物數量，僅保留包含兩個及以上角色的片段。接著，通過美學評分和拉普拉斯算子過濾低質量、模糊或偽影嚴重的片段。最后，基于MediaPipe檢測的面部關鍵點，計算角度和運動變化以篩選具有清晰表情的片段。數據集包含約30,000個高質量視頻片段，每個片段均附帶CogVLM2生成的描述性標注。
ExprBench
由于缺乏公開的多角色表情驅動視頻生成評估基準，本文提出ExprBench以客觀比較不同方法在生成豐富表情的面部動畫上的性能。ExprBench包含單角色評估基準ExprBench-Single和多角色基準ExprBench-Multi。具體地，我們從Pexels1的無版權資源中精心收集了200張單角色肖像和100段驅動視頻構建ExprBench-Single，每段驅動視頻裁剪為5秒（約125幀）。肖像圖像涵蓋真實人類風格、擬人化風格（如動物、卡通角色）及多樣場景（如錄音棚、表演舞臺、直播間）。驅動視頻包含多樣表情（如眼皮下垂、眉毛抽動）、情感（如快樂、悲傷、憤怒）和頭部運動。
為評估多角色表情驅動生成性能，本文還收集了100張肖像圖像和50段驅動視頻構建多中心基準ExprBench-Multi，用于測試多角色表情與運動的生成任務。下圖3展示了ExprBench的肖像圖像和驅動視頻示例。
實現細節
基線對比
基線方法與指標。在單角色設定下，本文選取以下公開的肖像動畫方法進行比較評估：LivePortrait、Skyreels-A1、HunyuanPortrait、X-Portrait和FollowYE。多角色基線采用LivePortrait的多臉版本。
本文在ExprBench上評估所有方法。對于自驅動重演評估，使用第一幀作為源輸入圖像，驅動視頻作為真實標簽。為評估生成肖像動畫的泛化質量和運動準確性，本文采用Fréchet Inception Distance (FID)、Fréchet Video Distance (FVD)、峰值信噪比(PSNR) 和 結構相似性指數(SSIM) 。此外，為測量表情運動準確性，使用Landmark Mean Distance (LMD)，而Mean Angular Error (MAE) 用于評估眼部運動精度。對于跨身份重演評估，采用Average Expression Distance (AED)、Average Pose Distance (APD) 和MAE，其中AED和APD分別評估表情和頭部姿態運動的準確性。
定量結果。下表1展示了定量對比結果?；谛巫兊腖ivePortrait方法在全局頭部運動控制上精度有限，其APD得分在對比方法中最低。FollowYE和Skyreels-A1等方法依賴顯式面部關鍵點控制頭部或面部運動，但該方法在跨身份重演中不可避免地引入身份泄漏，導致AED、APD和MAE指標下降。HunyuanPortrait使用隱式信號生成表情，同時采用顯式DWPose條件驅動頭部運動，性能仍受限?；贕AN的LivePortrait與基于UNet的HunyuanPortrait、X-Portrait和FollowYE在FID和FVD上表現較差，表明其在視頻質量（尤其是面部細節保留）上遜于基于DiT的Skyreels-A1和FantasyPortrait。本文的方法在LMD、MAE、AED和APD等表情與頭部運動相似性指標上達到SOTA，跨身份重演提升尤為顯著。這些結果驗證了細粒度隱式表情表示與表情增強學習能有效捕捉細微表情和情感動態，同時保持優異的跨身份遷移能力。多角色實驗中，本文的方法同樣取得最佳定量結果，證實掩碼交叉注意力機制能實現對多肖像的魯棒精確控制。
定性結果。下圖4顯示，本文的方法實現了更準確的面部運動遷移和更逼真的視覺效果。單角色場景下，盡管驅動視頻存在相機運動和身體姿態干擾，本文的方法在視覺質量上仍優于所有基線（基線方法在此類干擾下出現偽影和錯誤表情）。這一優勢源于表情增強的隱式面部控制方法，實現了更魯棒和細膩的表情操控。多角色場景中，LivePortrait因依賴像素空間的面部分割與重組，驅動區域與靜態背景間存在明顯不連續；而本文的方法通過掩碼交叉注意力在潛在空間無縫整合不同身份的表情特征，避免了相互干擾或表情泄漏，生成結果更自然。
用戶研究。由于跨身份重演缺乏真實標簽，邀請32名參與者從視頻質量(VQ)、表情相似性(ES)、運動自然度(MN)和表情豐富度(ER)四個維度（0-10分）進行主觀評估。如下表2所示，FantasyPortrait在所有維度上均優于基線，尤其在表情相似性和豐富度上提升顯著，表明隱式條件控制機制與表情增強學習框架能更好地跨身份捕捉與遷移細粒度表情，凸顯了方法的強泛化能力。
更多可視化結果。補充材料包含擴展視頻，展示多樣化肖像風格（如動物、動漫角色）、復雜現實場景（如眼鏡遮擋、頭部飾品、面部遮擋）、身份交換動畫及多肖像組合生成的多角色動畫。
消融實驗與討論
掩碼交叉注意力(MCA)消融實驗。下表3與圖5結果表明MCA在多角色應用中的關鍵作用。未使用MCA時，多角色的驅動特征相互干擾，導致所有評估指標顯著下降。如圖5所示，缺乏MCA會導致角色間表情沖突，生成結果幾乎無法跟隨驅動視頻。相比之下，掩碼交叉注意力機制使模型能獨立控制不同角色。
Multi-Expr數據集(MED)消融實驗。實驗結果證明多表情數據集在肖像動畫任務中的必要性。如表3和圖5所示，僅使用單角色數據集訓練時，單角色動畫性能相當，但多角色場景會出現性能下降甚至視覺偽影。這表明多表情數據集對單角色動畫非必需，但對高質量多角色動畫不可或缺，可幫助模型學習跨角色的細粒度表情表示。
局限性與未來工作。盡管本文的方法在跨身份重演動畫中取得顯著進展，仍存在兩個關鍵局限：(1) 擴散模型的迭代采樣導致生成速度較慢，可能阻礙實時應用，未來將探索加速策略；(2) 高保真動畫可能引發濫用風險，建議開發魯棒的檢測與防御機制以降低倫理風險。
結論
本文提出FantasyPortrait——一種基于DiT的框架，用于生成富有表現力且對齊準確的多角色肖像動畫。本文的方法利用隱式表情表示實現身份無關的運動遷移，同時保留細粒度情感細節；引入掩碼交叉注意力機制實現多角色的同步獨立控制，有效解決表情泄漏問題。為支持該領域研究，貢獻了評估基準ExprBench和多角色表情數據集Multi-Expr。大量實驗表明，FantasyPortrait在單/多角色動畫場景（尤其是跨身份重演和復雜情感表達）中均優于現有方法。
本文轉自AI生成未來 ，作者：AI生成未來
