人物造型動畫生成最新SOTA！階躍星辰等提出MikuDance：混合運動建模和混合控制擴散 精華
文章鏈接：https://arxiv.org/pdf/2411.08656
項目鏈接：https://kebii.github.io/MikuDance/
亮點直擊
- 提出混合運動建模（Mixed Motion Modeling），用于在統(tǒng)一的逐像素空間中顯式建模角色和相機運動，從而有效地表示高動態(tài)運動。
- 利用混合控制擴散（Mixed-Control Diffusion）隱式對齊角色的形狀、姿勢和比例與運動引導，從而實現(xiàn)人物造型動畫的連貫運動控制。
- 大量實驗表明，MikuDance的有效性和泛化能力，相較于最新的方法，能夠?qū)崿F(xiàn)更高質(zhì)量的動畫和高動態(tài)運動控制。
總結(jié)速覽
要解決的問題
MikuDance 針對人物造型動畫中的兩個主要難題：高動態(tài)運動和參考引導錯位問題。
提出的方案
- 混合運動建模（Mixed Motion Modeling）：通過場景運動跟蹤策略（Scene Motion Tracking）對動態(tài)相機進行逐像素建模，實現(xiàn)角色與場景的統(tǒng)一運動建模。
- 混合控制擴散（Mixed-Control Diffusion）：隱式地對多樣角色的比例和體型進行運動引導對齊，從而靈活控制角色的局部運動。
應用的技術(shù)
- 場景運動跟蹤策略（Scene Motion Tracking）：顯式建模動態(tài)相機，進行像素級空間的角色-場景運動建模。
- 運動自適應歸一化模塊（Motion-Adaptive Normalization Module）：將全局場景運動注入角色動畫中，支持全面的人物造型動畫生成。
達到的效果
通過大量實驗，MikuDance 展現(xiàn)了其在各種人物造型和運動引導場景中的有效性和泛化能力，生成的動畫具有顯著的運動動態(tài)效果和高質(zhì)量的動畫表現(xiàn)。
方法
Stable Diffusion的預備知識
與現(xiàn)有的人物圖像動畫方法 [3, 14, 36] 類似，本文使用基于圖像的姿勢序列作為角色的運動引導。與以往直接提取角色全身姿勢的方法不同，分別提取身體、面部和手部的姿勢，使得面部和手部成為可選項，從而實現(xiàn)更靈活的運動控制。然而，角色動畫通常涉及整個場景的高動態(tài)運動，以增強敘事的視覺效果。傳統(tǒng)的姿勢序列僅提供角色的運動引導，缺乏對背景動態(tài)的表示。為了解決這一問題，引入了場景運動跟蹤策略（Scene Motion Tracking）。
場景運動跟蹤（Scene Motion Tracking, SMT）
值得注意的是，SMT 策略在兩個關(guān)鍵方面與視頻生成方法中常用的光流有所不同：首先，SMT 提取的場景運動與驅(qū)動視頻的內(nèi)容無關(guān)，而光流則依賴于內(nèi)容。其次，SMT 跟蹤的是點云中的 3D 點，而光流僅跟蹤圖像域中的像素運動，未考慮實際的 3D 場景。因此，SMT 策略提供了獨立的相機動態(tài)信息，這對于人物造型動畫中的連續(xù)背景運動至關(guān)重要。
在提出的 SMT 過程中，假設(shè)角色和場景在第一個相機中是靜止且標準化的。然而，在人物造型術(shù)動畫的實際應用中，參考場景通常與驅(qū)動視頻的相機比例不一致，并且每一幀中的角色姿勢各不相同。無法顯式地消除這種不確定性，因此需要模型在角色姿勢和藝術(shù)圖像的引導下進行隱式感知。因此，在下一節(jié)提出了混合控制擴散（Mixed-Control Diffusion）。
混合控制擴散
混合控制擴散的概念是將角色和場景的所有運動引導混合并融合到一個統(tǒng)一的參考空間中，從而實現(xiàn)對動畫的對齊運動控制。
如前面圖 2 所示，從 Animate Anyone 獲得啟發(fā)，使用預訓練的 SD-1.5 作為基礎(chǔ)去噪 UNet，并復制一份作為參考 UNet，以實現(xiàn)可控的圖像到視頻生成。不同于 Animate Anyone 及其他相關(guān)工作，消除了用于運動引導的單獨編碼器，同時使用 VAE 編碼器對參考人物造型、參考姿勢和所有角色姿勢引導進行編碼，并將它們嵌入到同一潛在空間中。接下來，將所有嵌入的引導在通道維度上串聯(lián)起來，以作為混合控制參考 UNet 的輸入。
為了適應這種混合輸入，我們擴展了參考 UNet 中輸入卷積層的通道，并用零卷積權(quán)重初始化新增參數(shù)。此外，參考圖像通過 CLIP 圖像編碼器嵌入，并在去噪 UNet 和參考 UNet 的交叉注意力操作中作為關(guān)鍵特征。此過程在現(xiàn)有工作中常用，因此在圖 2 中被省略。
借助提出的混合運動建模（Mixed Motion Modeling）和混合控制擴散（Mixed-Control Diffusion），并在參考 UNet 的每個下采樣塊后集成 MAN 模塊，我們概述了 MikuDance 的完整流程。此外，為了增強 MikuDance 適應各種人物造型風格和大規(guī)模相機運動動態(tài)的能力，我們在下一節(jié)提出了一種混合源訓練方法。
混合源訓練方法
考慮到圖像動畫是一個數(shù)據(jù)密集型任務，提出一個有效的數(shù)據(jù)和訓練流程與模型本身同樣重要。在 MikuDance 中，如下圖 4 所示，采用了一個包含兩個階段的混合源訓練方法。
在第一階段，訓練在成對的視頻幀上進行，此時不引入?yún)⒖?UNet 的 MAN 模塊或去噪 UNet 的時間模塊。與現(xiàn)有方法 [14, 37] 不同，是通過在空間維度上拼接初始幀來隨機混合風格化的成對幀，并利用深度和邊緣控制的動漫 SDXL 模型（稱為 SDXL-Neta）來傳遞藝術(shù)風格，同時保留圖像內(nèi)容。此外，為了模擬推理過程中參考人物造型與驅(qū)動姿勢無關(guān)的情況，隨機選擇與目標序列無關(guān)的參考幀。
在第二階段，我們將 MAN 模塊和時間模塊加入到混合控制擴散模型中，而其他參數(shù)在此階段保持凍結(jié)。此階段的訓練數(shù)據(jù)由混合的 MMD 視頻片段和不包含角色的相機運動視頻組成。重要的是，在兩個階段的訓練中隨機丟棄姿勢和運動引導，以增強 MikuDance 的魯棒性。
實驗
數(shù)據(jù)集 為了訓練 MikuDance，收集了一個包含 3,600 個由藝術(shù)家創(chuàng)建的 MMD 視頻數(shù)據(jù)集，所有視頻均由 3D 模型渲染生成。我們將這些視頻分成大約 120,000 個片段，共包含超過 1,020 萬幀。此外，在第二階段的訓練中，還加入了約 3,500 個無角色的相機運動視頻。為了進行定量評估，使用了未包含在訓練集中的 100 個 MMD 視頻，并將其首幀作為參考圖像。人物姿勢和相機姿勢提取分別采用 Xpose 和 DROID-SLAM。對于定性評估，所有人物造型均使用 SDXL-Neta 隨機生成，且訓練期間未見過驅(qū)動視頻。
定性結(jié)果
與基線方法的比較 將 MikuDance 與最近的人像視頻生成方法進行比較，包括 Animate Anyone (AniAny)、DISCO、MagicPose 和 UniAnimate，這些方法均在其官方報告中聲稱具備對動漫風格角色進行動畫生成的能力。此外，通過在 MMD 視頻數(shù)據(jù)集上微調(diào)模型實現(xiàn)了 AniAny*。
下圖 5 的結(jié)果顯示，AniAny、MagicPose 和 UniAnimate 無法解決角色形狀和比例的錯位，導致輸出中的角色變形。盡管 DISCO 使用獨立的 ControlNet 來處理背景和前景特征，但在為人物造型生成動畫時，其結(jié)果出現(xiàn)了場景崩潰現(xiàn)象。盡管 AniAny* 在動漫風格數(shù)據(jù)集上進行了專門微調(diào)，但由于未考慮背景場景的運動，其結(jié)果在高動態(tài)運動中仍然存在模糊，改進有限。值得注意的是，MikuDance 有效處理了復雜的參考和運動引導，呈現(xiàn)出高質(zhì)量且生動的動畫效果。
高動態(tài)運動
參考引導對齊誤差 MikuDance 的另一個重要貢獻在于其對參考角色與運動指導的隱式對齊處理。下圖 7 展示了兩個存在顯著空間和尺度錯位的示例。在這種情況下，現(xiàn)有方法（如 AniAny）難以有效地為參考角色生成動畫，而 MikuDance 成功處理了這些復雜性，生成了連貫的動畫。
多樣化的形狀和比例 MikuDance 有效地處理了角色形狀和比例的多樣性。如下圖 8 左側(cè)所示，不同體型、各種姿勢和不同服裝的角色均能被相同的運動指導精確驅(qū)動。在圖 8 右側(cè)，MikuDance 展現(xiàn)了其對不同尺度角色的隱式對齊能力，保留每個角色的獨特特征并生成合理的動畫效果。
對多種藝術(shù)風格的泛化能力 如下圖 9 所示，MikuDance 通過我們的混合源訓練方法，能夠處理多種藝術(shù)風格，包括但不限于賽璐璐、古典風格和線條素描。這種高度的泛化能力為實際應用開辟了廣闊前景。
消融實驗 本文進行消融實驗以驗證 MikuDance 的關(guān)鍵設(shè)計，包括混合控制架構(gòu) (MIX)、MAN 模塊和 SMT 策略，結(jié)果如下圖 10 所示。
為了評估混合控制設(shè)計，實現(xiàn)了一個受到 AniAny 啟發(fā)的pipeline （無 MIX），該pipeline 使用獨立的 Reference UNet 處理參考圖像，并使用兩個 ControlNets 分別適配角色和場景的運動指導。結(jié)果表明，這種傳統(tǒng)的pipeline 未能處理人物造型和驅(qū)動指導之間的尺度差異，導致角色的面部和姿勢出現(xiàn)錯位。
為了評估 MAN 模塊的有效性，實現(xiàn)了一個不使用 MAN 的pipeline （無 MAN），該pipeline 將場景運動與角色運動簡單拼接，并將它們一起輸入到 Reference UNet 中。雖然這種方法比沒有場景運動指導（無 SMT）的pipeline 效果更好，但仍然不如 MikuDance 的效果。這是因為 MAN 模塊通過空間感知歸一化注入全局運動，有效地補充了局部運動。
為了評估 SMT 策略，本文進行了三項實驗：一個不包含場景運動的pipeline （無 SMT），以及兩個分別使用 Plücker 嵌入（w/ Plücker）和光流（w/ Flow）替代場景運動的pipeline 。然而，這些替代方法的結(jié)果比我們的 SMT 策略差，動態(tài)背景出現(xiàn)了明顯的偽影和不一致性。SMT 提取的逐像素場景運動被證明是更有效的背景運動引導表示，因為它與角色運動指導具有領(lǐng)域一致性。
與上述消融實驗相比，MikuDance 能有效應對動畫人物造型中的錯位和高動態(tài)挑戰(zhàn)。
定量結(jié)果
下表1展示了 MikuDance 與基線方法之間的定量比較。需要注意的是，本文報告的度量值低于先前研究中的度量值，因為我們測試視頻中的整個場景高度動態(tài)，與早期數(shù)據(jù)集中使用的靜態(tài)背景不同。盡管如此，結(jié)果仍然表明，MikuDance 在所有圖像和視頻指標上都達到了最先進的性能。此外，消融實驗結(jié)果確認了 MikuDance 關(guān)鍵設(shè)計元素的有效性。總之，通過結(jié)合提出的混合運動動態(tài)技術(shù)，MikuDance 可以動畫化各種角色，并生成高質(zhì)量的圖像和視頻結(jié)果。
用戶研究。邀請了50名志愿者，并給他們提供了20個視頻，用于評估MikuDance 相對于基線方法的表現(xiàn)。每個視頻包括一個運動指導和四個匿名動畫結(jié)果。要求用戶對四個結(jié)果在整體質(zhì)量、幀質(zhì)量和時間質(zhì)量上進行排名。在排除異常問卷后，各方法的平均排名總結(jié)如圖11所示。MikuDance 顯著優(yōu)于基線方法，超過97%的用戶更喜歡由 MikuDance 生成的動畫。
結(jié)論
MikuDance，這是一種新型動畫pipeline ，旨在為戶外人物造型生成高動態(tài)動畫。MikuDance 融入了兩項關(guān)鍵技術(shù)：混合運動建模和混合控制擴散。混合運動建模能夠在統(tǒng)一的參考空間中表示大規(guī)模的角色和場景運動，而混合控制擴散則解決了角色與運動指導之間的錯位問題。為了支持多種藝術(shù)風格，還采用了混合源訓練方法，以增強其泛化能力。大量實驗表明，MikuDance 在與基線方法的比較中，達到了最先進的性能。
局限性。一些生成的動畫存在背景扭曲和偽影。這一問題源于圖像動畫中的3D無關(guān)挑戰(zhàn)，使得在動態(tài)相機下的場景重建成為一個病態(tài)問題，亟需進一步的研究。
本文轉(zhuǎn)自AI生成未來 ，作者：AI生成未來
