EchoMimic V2：AI 數(shù)字人的新里程碑！首次實(shí)現(xiàn)身體動作口型全同步！
EchoMimic V2是阿里達(dá)摩院開源的一款基于音頻驅(qū)動的肖像動畫生成工具。
這一工具不僅能讓虛擬形象開口說話，實(shí)現(xiàn)口型同步，還能在音頻驅(qū)動下添加頭部和身體動作，將數(shù)字形象的表現(xiàn)力提升到一個(gè)全新的高度。
如果你對AI數(shù)字人、AI配音、AI動畫等制作感興趣，那么EchoMimic V2絕對是一個(gè)不容錯過的工具！
主要特點(diǎn)
(1) 音頻驅(qū)動的半身人物動畫
- 支持通過音頻驅(qū)動生成逼真的半身人物動畫效果，適用于多種應(yīng)用場景，如數(shù)字人直播、虛擬主播、視頻編輯、AI配音等。
- 實(shí)現(xiàn)音頻驅(qū)動的人物說話、表情和肢體動作的協(xié)調(diào)一致。
(2) 引人注目的動作表現(xiàn)力
通過新穎的音頻姿勢動態(tài)協(xié)調(diào)策略，包括姿勢采樣和音頻擴(kuò)散，增強(qiáng)半身細(xì)節(jié)、面部和手勢表現(xiàn)力。
(3) 簡化的生成流程：
減少條件冗余，簡化生成流程，提高模型的實(shí)用性和靈活性。
實(shí)現(xiàn)策略
(1) Audio-Pose Dynamic Harmonization策略：
- Pose Sampling：通過姿態(tài)采樣技術(shù)，增強(qiáng)半身細(xì)節(jié)和面部及手勢的表現(xiàn)力。
- Audio Diffusion：利用音頻擴(kuò)散技術(shù)，進(jìn)一步提升動畫的自然性和連貫性。
(2) Head Partial Attention：
為了彌補(bǔ)半身數(shù)據(jù)的稀缺，使用頭部部分注意力機(jī)制，將頭像數(shù)據(jù)無縫集成到訓(xùn)練框架中。在推理階段，這一部分可以被省略，從而提供一個(gè)“免費(fèi)午餐”給動畫生成。
(3) Phase-specific Denoising Loss：
設(shè)計(jì)了特定階段的去噪損失函數(shù)，分別指導(dǎo)動畫在不同階段的運(yùn)動、細(xì)節(jié)和低層次質(zhì)量。
核心亮點(diǎn)
(1) 數(shù)字人全方位進(jìn)化
相比 V1 僅支持?jǐn)?shù)字人，V2 將動畫范圍擴(kuò)展到自定義人物，提供從頭部到身體的完整動畫表現(xiàn)：
- 表情與嘴型同步：輸入一段音頻，即可讓虛擬角色匹配語音內(nèi)容精準(zhǔn)“開口說話”。通過音頻驅(qū)動，實(shí)現(xiàn)口型與語音內(nèi)容的高度同步，使虛擬角色的對話更加自然和真實(shí)。
- 頭部與手勢動作：通過參考手勢視頻生成連貫自然的動作效果。不僅限于面部表情，還包括頭部和手勢動作，打造更具沉浸感的數(shù)字人。動作流暢、自然，增強(qiáng)了虛擬角色的表現(xiàn)力和互動性。
(2) 簡單易用
只需提供以下三項(xiàng)內(nèi)容，即可輕松生成高質(zhì)量動畫：
- 參考圖像：用戶上傳任意照片作為虛擬角色的基礎(chǔ)。參考圖像可以是任意人物的照片，系統(tǒng)會根據(jù)該圖像生成相應(yīng)的虛擬角色。
- 音頻剪輯：用于驅(qū)動嘴型和表情動畫。輸入的音頻內(nèi)容將直接影響虛擬角色的口型和表情，確保動畫與語音內(nèi)容的高度一致。
- 手勢視頻：為動畫添加豐富的身體動作與動態(tài)細(xì)節(jié)。手勢視頻可以是任何包含手勢動作的視頻片段，系統(tǒng)會參考這些動作生成自然的身體動作。
快速上手
(1) 硬件要求
- 英偉達(dá)顯卡：建議使用16GB顯存，較小的顯卡也能運(yùn)行，但是性能會有所下降。
- Python版本：需要Python 3.10及以上版本。
(2) 部署步驟
① 下載項(xiàng)目包：
git clone https://github.com/antgroup/echomimic_v2
cd echomimic_v2② 設(shè)置python環(huán)境
- 測試系統(tǒng)環(huán)境：CentOS 7.2 / Ubuntu 22.04
- 測試GPU：A100(80G) / RTX4090D (24G) / V100(16G)
- 測試Python版本：3.8 / 3.10 / 3.11
創(chuàng)建conda環(huán)境（推薦）
conda create -n echomimic python=3.10
conda activate echomimic③ 安裝依賴包
pip install pip -U
pip install torch==2.5.1 torchvision==0.20.1 torchaudio==2.5.1 xformers==0.0.28.post3 --index-url https://download.pytorch.org/whl/cu124
pip install torchao --index-url https://download.pytorch.org/whl/nightly/cu124
pip install -r requirements.txt
pip install --no-deps facenet_pytorch==2.6.0④下載和配置ffmpeg-static
wget https://johnvansickle.com/ffmpeg/releases/ffmpeg-release-64bit-static.tar.xz
tar -xvf ffmpeg-release-64bit-static.tar.xz
export FFMPEG_PATH=$(pwd)/ffmpeg-4.4-amd64-static⑤ 下載預(yù)訓(xùn)練權(quán)重模型
git lfs install
git clone https://huggingface.co/BadToBest/EchoMimicV2 pretrained_weights預(yù)訓(xùn)練權(quán)重目錄結(jié)構(gòu)
./pretrained_weights/
├── denoising_unet.pth
├── reference_unet.pth
├── motion_module.pth
├── pose_encoder.pth
├── sd-vae-ft-mse
│ └── ...
├── sd-image-variations-diffusers
│ └── ...
└── audio_processor
└── tiny.pt⑥ 啟動Gradio界面
python app.py運(yùn)行上述命令后，會啟動一個(gè)Gradio界面。
- 在Gradio界面上，可以上傳一張參考圖像（你自己的頭像或任何人物照片）。
- 上傳一段音頻剪輯，EchoMimic V2會根據(jù)音頻制作出相應(yīng)的口型同步動畫。
- 上傳一段手勢視頻，系統(tǒng)會生成與音頻相匹配的身體動作。
- 系統(tǒng)將根據(jù)提供的參考圖像、音頻剪輯和手勢視頻生成完整的動畫視頻。
(3) 附錄
- GitHub倉庫：https://github.com/antgroup/echomimic_v2
- 在線Demo：https://huggingface.co/spaces/fffiloni/echomimic-v2
實(shí)例效果
