DynamicFace是一種新穎的面部視頻交換方法，旨在生成高質(zhì)量且一致的視頻面部圖像。該方法結(jié)合了擴散模型的強大能力和可插拔的時間層，以解決傳統(tǒng)面部交換技術(shù)面臨的兩個主要挑戰(zhàn)：在保持源面部身份的同時，準確傳遞目標面部的運動信息。通過引入四種細粒度的面部條件，DynamicFace能夠?qū)γ娌刻卣鬟M行更精確的控制，從而實現(xiàn)高保真度的面部交換。實驗結(jié)果表明，該方法在圖像質(zhì)量、身份保留和表情準確性方面均優(yōu)于現(xiàn)有技術(shù)，并且能夠有效地擴展到視頻領(lǐng)域，展示了其強大的應用潛力。

unsetunset相關(guān)鏈接unsetunset

• 論文：http://arxiv.org/abs/2501.08553v1
• 主頁：https://dynamic-face.github.io/

unsetunset論文介紹unsetunset

人臉交換將源人臉的身份轉(zhuǎn)移到目標人臉，同時保留目標人臉的表情、姿勢、頭發(fā)和背景等屬性。先進的人臉交換方法取得了令人滿意的結(jié)果。然而，這些方法經(jīng)常無意中從目標人臉轉(zhuǎn)移身份信息，損害與表情相關(guān)的細節(jié)和準確的身份。

論文提出了一種新方法 DynamicFace，利用擴散模型和即插即用時間層的強大功能進行視頻人臉交換。首先使用 3D 面部先驗引入了四個細粒度的人臉條件。所有條件都設(shè)計為相互分離，以實現(xiàn)精確和獨特的控制。然后采用 Face Former 和 ReferenceNet 進行高級和詳細的身份注入。通過在 FF++ 數(shù)據(jù)集上的實驗證明了提出的方法在人臉交換方面取得了最先進的成果，展示了卓越的圖像質(zhì)量、身份保存和表情準確性。此外，該方法可以通過時間注意層輕松轉(zhuǎn)移到視頻領(lǐng)域。

可組合的面部條件。提出的方法目標是將面部分解為四個條件，并捕捉每個條件的獨特用法。條件相互解開，并通過 3D 面部先驗提供必要的指導。

unsetunset方法unsetunset

所提方法的概述。 VAE 編碼器和 ReferenceNet 從源人臉中提取詳細特征，然后通過空間注意將其合并到穩(wěn)定擴散主 UNet 中。人臉編碼器使用查詢轉(zhuǎn)換器從源人臉圖像中提取高級特征，然后通過交叉注意將其注入 ReferenceNet 和主 UNet。四個可組合的人臉條件被輸入到四個專家引導器中，并在潛在空間中與融合網(wǎng)絡融合。時間注意旨在提高跨幀的時間一致性。在迭代去噪之后，主 UNet 的輸出由 VAE 解碼器解碼為最終的動畫視頻。

unsetunset結(jié)果unsetunset

在 FF++ 上進行定性比較。提出的方法對于看不見的數(shù)據(jù)分布表現(xiàn)良好，并且還可以更好地保留身份（例如形狀和面部紋理）和包括表情和姿勢在內(nèi)的運動。

FFHQ 上的定性比較。提出的方法可以生成具有準確身份和包含表情、姿勢和凝視的精確運動的高分辨率人臉。結(jié)果的背景也更加逼真。

更多結(jié)果

unsetunset結(jié)論unsetunset

論文提出了一種名為 DynamicFace 的新方法，該方法利用強大的預訓練擴散模型和精細解開的面部條件，在圖像和視頻領(lǐng)域?qū)崿F(xiàn)了令人滿意的換臉效果。實驗表明，設(shè)計的面部條件可以對所需信息（例如形狀、表情、姿勢、光線和背景）提供精確而獨特的證據(jù)。已經(jīng)采取了多項措施將擴散模型應用于換臉，包括 Face Former、ReferenceNet、Mixture-of-Guiders 和運動模塊。