論文鏈接：https://arxiv.org/pdf/2508.10898Git 鏈接：https://chaoyuesong.github.io/Puppeteer/

亮點(diǎn)直擊

• 構(gòu)建了一個(gè)大規(guī)模的 rigging 數(shù)據(jù)集，包含 59,400 個(gè)已綁定模型，并提供多姿態(tài)子集；
• 提出了一種新穎的自回歸骨架生成方法，采用高效的基于關(guān)節(jié)的tokenization方式與分層序列排序，并結(jié)合隨機(jī)化策略；
• 設(shè)計(jì)了一種基于注意力機(jī)制的蒙皮權(quán)重預(yù)測(cè)架構(gòu)，融合了具備拓?fù)涓兄芰Φ年P(guān)節(jié)注意力機(jī)制；
• 提出了一種可微分的基于優(yōu)化的動(dòng)畫方法，能夠?yàn)槎喾N物體類別生成穩(wěn)定且高質(zhì)量的動(dòng)畫，無(wú)需大量計(jì)算資源或人工操作。

總結(jié)速覽

解決的問(wèn)題

• 動(dòng)態(tài) 3D 內(nèi)容生成的瓶頸：盡管生成式 AI 已顯著提升了靜態(tài) 3D 模型的生成效率，但將這些模型轉(zhuǎn)化為可動(dòng)畫的資產(chǎn)（包括骨骼綁定與動(dòng)畫生成）仍依賴專業(yè)人員的手工操作，流程復(fù)雜、成本高、效率低。
• 現(xiàn)有方法的局限性：當(dāng)前自動(dòng)化綁定與動(dòng)畫方法在骨骼結(jié)構(gòu)預(yù)測(cè)、蒙皮精度、動(dòng)畫穩(wěn)定性等方面存在不足，且常常需要大量計(jì)算資源。

提出的方案

• 提出Puppeteer：一個(gè)端到端的自動(dòng)化 3D 模型綁定與動(dòng)畫框架，面向多樣化 3D 對(duì)象，覆蓋從骨骼結(jié)構(gòu)預(yù)測(cè)、蒙皮權(quán)重推理到動(dòng)畫生成的全過(guò)程。
• 該系統(tǒng)通過(guò)統(tǒng)一架構(gòu)自動(dòng)完成靜態(tài)模型的綁定與動(dòng)畫生成，減少乃至消除對(duì)人工操作的依賴。

應(yīng)用的技術(shù)

1. 自回歸骨架生成模型：

• 使用自回歸 Transformer 架構(gòu)；
• 引入基于關(guān)節(jié)的tokenization策略，實(shí)現(xiàn)緊湊表達(dá)；
• 應(yīng)用分層序列排序與隨機(jī)擾動(dòng)機(jī)制，增強(qiáng)雙向建模能力。

2. 基于注意力機(jī)制的蒙皮權(quán)重預(yù)測(cè)：

• 設(shè)計(jì)拓?fù)涓兄年P(guān)節(jié)注意力機(jī)制；
• 基于骨骼圖距離顯式建模關(guān)節(jié)關(guān)系。

3. 可微分的優(yōu)化動(dòng)畫生成方法：

• 構(gòu)建高效的優(yōu)化流程；
• 能夠生成高保真、穩(wěn)定的動(dòng)畫，且計(jì)算資源消耗較低。

4. 大規(guī)模數(shù)據(jù)支持：

• 構(gòu)建包含 59,400 個(gè)已綁定模型的大型數(shù)據(jù)集，涵蓋多種姿態(tài)與形狀。

達(dá)到的效果

• 性能顯著優(yōu)于現(xiàn)有方法：

• 在多個(gè)基準(zhǔn)測(cè)試中，Puppeteer 在骨骼結(jié)構(gòu)預(yù)測(cè)精度與蒙皮質(zhì)量方面均優(yōu)于當(dāng)前最先進(jìn)技術(shù)。

• 適應(yīng)性強(qiáng)、通用性高：
• 能夠穩(wěn)健處理從專業(yè)游戲資產(chǎn)到 AI 生成形狀等多種 3D 內(nèi)容類型。
• 動(dòng)畫質(zhì)量高、時(shí)間連續(xù)性強(qiáng)：
• 生成的動(dòng)畫在時(shí)間上連貫，避免了傳統(tǒng)方法中常見(jiàn)的抖動(dòng)問(wèn)題。
• 計(jì)算效率高、部署成本低：
• 無(wú)需大量計(jì)算資源或手動(dòng)干預(yù)，適合實(shí)際生產(chǎn)環(huán)境部署。

自動(dòng)綁定

本文的自動(dòng)綁定框架包含兩個(gè)順序模塊。首先，使用一個(gè)自回歸 Transformer 從原始 3D 網(wǎng)格中推理出結(jié)構(gòu)上有效的骨架。隨后，該骨架與原始網(wǎng)格將被一個(gè)基于注意力的架構(gòu)處理，以預(yù)測(cè)精確的逐頂點(diǎn)蒙皮權(quán)重。為了支持大規(guī)模學(xué)習(xí)，引入了 ArticulationXL2.0，這是一個(gè)包含 59.4k 高質(zhì)量綁定 3D 模型的綜合數(shù)據(jù)集。

數(shù)據(jù)集：Articulation-XL2.0

本文提出了Articulation-XL2.0，這是在 [67] 中提出的 Articulation-XL 的擴(kuò)展版本。在保持相同的數(shù)據(jù)篩選流程的基礎(chǔ)上，納入了來(lái)自 Objaverse-XL 先前被排除的多種幾何數(shù)據(jù)類型。進(jìn)一步通過(guò)去除未綁定頂點(diǎn)并進(jìn)行人工驗(yàn)證來(lái)提升質(zhì)量，最終得到超過(guò) 48k 個(gè)高質(zhì)量綁定的 3D 模型。

考慮到本文主數(shù)據(jù)集中的模型大多處于靜止姿態(tài)配置，從而限制了對(duì)新穎關(guān)節(jié)變化的泛化能力，構(gòu)建了一個(gè)多樣姿態(tài)子集。通過(guò)識(shí)別來(lái)自 Diffusion4D 的高質(zhì)量動(dòng)畫數(shù)據(jù)與本文綁定模型語(yǔ)料庫(kù)之間的交集，從動(dòng)畫幀中提取了 7.3k 個(gè)與靜止姿態(tài)偏差最大的變形網(wǎng)格及其對(duì)應(yīng)的綁定信息。為了平衡該子集中類人形態(tài)的主導(dǎo)性，補(bǔ)充了 4.1k 使用 SMALR 生成的模型，這些模型基于來(lái)自 41 個(gè)不同動(dòng)物掃描的參數(shù)化數(shù)據(jù)，并采用隨機(jī)有效姿態(tài)。最終得到的 11.4k 多樣姿態(tài)數(shù)據(jù)集在處理未見(jiàn)姿態(tài)方面顯著提升了性能，這在本文實(shí)驗(yàn)中得到了驗(yàn)證。將發(fā)布 Articulation-XL2.0，這是一個(gè)包含 59.4k 高質(zhì)量綁定模型的綜合集合，以促進(jìn)未來(lái)研究。

自回歸骨架生成

本框架包含三個(gè)關(guān)鍵組成部分：基于關(guān)節(jié)的骨架tokenization、帶有隨機(jī)化的分層序列排序，以及基于形狀條件的自回歸生成。這些組件共同實(shí)現(xiàn)了在不同對(duì)象結(jié)構(gòu)中準(zhǔn)確、高效的骨架生成，而無(wú)需依賴預(yù)定義模板。

基于注意力的蒙皮權(quán)重預(yù)測(cè)

本節(jié)介紹一種基于注意力的網(wǎng)絡(luò)，用于預(yù)測(cè)每個(gè)頂點(diǎn)的蒙皮權(quán)重，這些權(quán)重決定了網(wǎng)格如何響應(yīng)骨架的運(yùn)動(dòng)而發(fā)生形變。

隨后，架構(gòu)執(zhí)行一系列注意力操作：

最后，網(wǎng)絡(luò)計(jì)算余弦相似度分?jǐn)?shù)，并應(yīng)用 softmax 歸一化以生成蒙皮權(quán)重：

基于注意力的蒙皮權(quán)重預(yù)測(cè)

下面介紹一種基于注意力的網(wǎng)絡(luò)，用于預(yù)測(cè)每個(gè)頂點(diǎn)的蒙皮權(quán)重，這些權(quán)重決定了網(wǎng)格如何響應(yīng)骨架的運(yùn)動(dòng)而發(fā)生形變。

視頻引導(dǎo)的 3D 動(dòng)畫

通過(guò)生成的骨架和蒙皮權(quán)重，將靜態(tài)網(wǎng)格轉(zhuǎn)換為可用于動(dòng)畫的資產(chǎn)。下面介紹一種基于優(yōu)化的方法，用于在視頻引導(dǎo)下自動(dòng)為綁定好的 3D 模型生成動(dòng)畫。

為了解決遮擋問(wèn)題，本文為關(guān)節(jié)和頂點(diǎn)實(shí)現(xiàn)了可見(jiàn)性檢測(cè)機(jī)制。對(duì)于關(guān)節(jié)，本文基于射線與網(wǎng)格交點(diǎn)定義可見(jiàn)性：如果從相機(jī)到關(guān)節(jié)的射線與網(wǎng)格表面恰好相交一次，則認(rèn)為該關(guān)節(jié)是可見(jiàn)的。本文使用 libigl [29] 中的 ??ray_mesh_intersect?? 函數(shù)來(lái)計(jì)算這些關(guān)節(jié)可見(jiàn)性掩碼。對(duì)于頂點(diǎn)可見(jiàn)性，本文利用 Pytorch3D 的光柵化輸出來(lái)確定可見(jiàn)的表面點(diǎn)。這些可見(jiàn)性掩碼基于第一幀計(jì)算，確保跟蹤損失在整個(gè)序列中根據(jù)初始可見(jiàn)性一致地應(yīng)用，從而防止由于參考姿態(tài)中被遮擋元素引起的優(yōu)化偽影。

本文進(jìn)一步引入正則化項(xiàng)以約束幀間運(yùn)動(dòng)的平滑性。所有損失組件的完整數(shù)學(xué)公式在附錄中提供。

實(shí)驗(yàn)

實(shí)驗(yàn)設(shè)置

數(shù)據(jù)集。 在前文中介紹的 Articulation-XL2.0 數(shù)據(jù)集上訓(xùn)練模型，該數(shù)據(jù)集包含來(lái)自 Objaverse-XL的超過(guò) 48k 個(gè)高質(zhì)量樣本作為主要子集，以及 11.4k 個(gè)來(lái)自多樣姿態(tài)子集的樣本。用于模型訓(xùn)練的樣本包括來(lái)自主要子集的超過(guò) 46k 個(gè)樣本和來(lái)自多樣姿態(tài)子集的 10.9k 個(gè)樣本。

在評(píng)估階段，使用三個(gè)不同的測(cè)試集：Articulation-XL2.0-test（來(lái)自主集的 2k 條數(shù)據(jù)）、ModelsResource-test（270 個(gè)直立、面向前方的模型，與 Articulation-XL2.0 無(wú)重疊，用于評(píng)估跨數(shù)據(jù)集的泛化能力），以及從多樣姿態(tài)子集中專門選取的 500 個(gè)網(wǎng)格，用于評(píng)估模型在多樣姿態(tài)下的表現(xiàn)。

實(shí)現(xiàn)細(xì)節(jié)。 為增強(qiáng)魯棒性和泛化能力，本文應(yīng)用幾何數(shù)據(jù)增強(qiáng)（縮放、平移、旋轉(zhuǎn)變換）和姿態(tài)增強(qiáng)——利用訓(xùn)練樣本的真實(shí)骨架和蒙皮權(quán)重對(duì)其進(jìn)行關(guān)節(jié)變換，以模擬多樣姿態(tài)。

骨架生成結(jié)果

基線方法與評(píng)估指標(biāo)。 本文引入四種對(duì)比方法作為基線：Pinocchio，該方法將預(yù)定義的骨架模板擬合到輸入網(wǎng)格上；RigNet，一個(gè)基于圖卷積的學(xué)習(xí)模型，用于推斷關(guān)節(jié)位置；MagicArticulate，一個(gè)用于骨架生成的自回歸框架；以及同時(shí)期提出的方法 UniRig，同樣采用自回歸 Transformer 方法。所有方法均在 Articulation-XL2.0 和 ModelsResource 測(cè)試集以及本文構(gòu)建的 diverse-pose 子集上進(jìn)行評(píng)估。

使用三個(gè)基于 Chamfer Distance 的指標(biāo)來(lái)評(píng)估骨架生成質(zhì)量：CD-J2J（joint-to-joint）、CD-J2B（joint-to-bone）和 CD-B2B（bone-to-bone）。這些指標(biāo)衡量生成骨架與真實(shí)骨架之間的空間對(duì)齊程度，數(shù)值越低表示性能越好。

對(duì)比結(jié)果。 下圖 3 展示了三個(gè)基準(zhǔn)上的定性結(jié)果。RigNet 始終生成無(wú)效骨架——其圖卷積模型在面對(duì)本文大規(guī)模、姿態(tài)多樣的數(shù)據(jù)集時(shí)無(wú)法良好收斂。UniRig 出現(xiàn)骨架缺失與錯(cuò)位問(wèn)題，例如烏龜四肢和松鼠尾巴的骨骼缺失，以及人類手部骨架錯(cuò)位（圖中黃色圓圈標(biāo)記）。MagicArticulate 在 Articulation-XL2.0 和 ModelsResource 上與參考骨架較為接近，但在細(xì)節(jié)上存在錯(cuò)誤（如烏龜四肢骨骼缺失、松鼠尾部與身體連接錯(cuò)誤），并且在 diverse-pose 子集上的表現(xiàn)退化，因?yàn)槠鋬H在以靜態(tài)姿態(tài)為主的數(shù)據(jù)上訓(xùn)練，未使用姿態(tài)增強(qiáng)。

相比之下，本文方法在三個(gè)基準(zhǔn)上均生成準(zhǔn)確、結(jié)構(gòu)正確的骨架。值得注意的是，本文生成的骨架甚至可以修正藝術(shù)家創(chuàng)建骨架中的遺漏，例如烏龜頭部與身體連接的缺失。下表 1 報(bào)告了定量指標(biāo)，本文在所有數(shù)據(jù)集和指標(biāo)上均優(yōu)于所有基線方法。特別是，在訓(xùn)練中引入 diverse-pose 子集顯著提升了在 diverse-pose 基準(zhǔn)上的表現(xiàn)。

AI 生成網(wǎng)格上的定性結(jié)果。 本文在 Tripo2.0 和 Hunyuan3D 2.0 生成的 AI 網(wǎng)格上評(píng)估本文方法的泛化能力。如下圖 4 所示，將本文的方法與 MagicArticulate進(jìn)行比較。MagicArticulate 丟失了細(xì)節(jié)（如第 3 和第 5 行中的機(jī)器人手部，第 4 行中海豚-蜂鳥(niǎo)嵌合體的尾巴和翅膀，黃色標(biāo)記），并生成錯(cuò)位骨架（第 1 行中龍的尾巴，第 2 行中鹿的腿）。相比之下，本文方法在所有類別中始終生成有效、穩(wěn)健的骨架。

蒙皮權(quán)重預(yù)測(cè)結(jié)果

基線方法與評(píng)估指標(biāo)。 將本文的蒙皮權(quán)重預(yù)測(cè)方法與三種基線方法進(jìn)行比較：Geodesic Voxel Binding (GVB)，一種在 Autodesk Maya 中可用的基于幾何的方法；RigNet [86]；以及 MagicArticulate [67]。本文還在 Articulation-XL2.0 和 ModelsResource 測(cè)試集，以及本文構(gòu)建的 diverse-pose 子集上對(duì)這三種方法進(jìn)行評(píng)估。

對(duì)比結(jié)果。 下圖 5 展示了每種方法預(yù)測(cè)的蒙皮權(quán)重及其對(duì)應(yīng)的 L1 誤差圖。本文的方法在所有基準(zhǔn)上都生成了更為準(zhǔn)確的權(quán)重分布，并顯著降低了誤差。RigNet 在所有示例中都表現(xiàn)出較大的誤差，而 MagicArticulate 的函數(shù)擴(kuò)散方法在 Articulation-XL2.0 和 diverse-pose 子集上表現(xiàn)良好，但在 ModelsResource 上表現(xiàn)退化，顯示其跨數(shù)據(jù)集的泛化能力有限。下表 2 中的定量結(jié)果驗(yàn)證了這些觀察結(jié)果，本文的方法在每一個(gè)指標(biāo)和數(shù)據(jù)集上都優(yōu)于所有基線方法。

三維動(dòng)畫結(jié)果

基線方法。 將動(dòng)畫結(jié)果與 L4GM（用于視頻到 4D 生成）和 MotionDreamer（用于 3D 網(wǎng)格動(dòng)畫）進(jìn)行比較。為確保公平評(píng)估，L4GM 接收相同的輸入視頻，并將其首幀的多視角合成替換為輸入 3D 模型的真實(shí)渲染圖。MotionDreamer 則接收輸入的 3D 模型以及用于視頻生成的相同文本提示。在下圖 6 中，其部分輸出缺乏紋理，是由于其封閉網(wǎng)格轉(zhuǎn)換破壞了 UV 映射。

對(duì)比結(jié)果。 如上圖 6 所示，本文展示了生成的骨架及其對(duì)應(yīng)的視頻引導(dǎo)動(dòng)畫。帶骨架的形狀表示靜止姿態(tài)。盡管 L4GM 的參考視圖與源視頻對(duì)齊良好，但即使提供了真實(shí)的多視角渲染，其輸出仍反復(fù)出現(xiàn)幾何失真（紅色高亮）。MotionDreamer 的動(dòng)畫較為微弱，且可能在剛性部位（例如人形軀干）引入意外形變。相比之下，本文方法使用完全生成的綁定結(jié)構(gòu)，生成了準(zhǔn)確、無(wú)偽影的動(dòng)畫。

消融實(shí)驗(yàn)

下面對(duì)骨架生成和蒙皮權(quán)重預(yù)測(cè)兩個(gè)方面進(jìn)行了消融實(shí)驗(yàn)。所有模型均在不包含 diverse-pose 子集的 Articulation-XL2.0 數(shù)據(jù)集上訓(xùn)練。

骨架生成的消融實(shí)驗(yàn)。 對(duì)四個(gè)組件進(jìn)行了消融：姿態(tài)增強(qiáng)、順序隨機(jī)化、tokenization方案和骨架排序策略，以評(píng)估它們對(duì)骨架生成的影響（見(jiàn)下表 3）。去除姿態(tài)增強(qiáng)會(huì)在所有基準(zhǔn)上導(dǎo)致性能下降，尤其是在 diverse-pose 測(cè)試集上。禁用順序隨機(jī)化同樣會(huì)降低性能。

結(jié)論

Puppeteer，一個(gè)統(tǒng)一的綁定與動(dòng)畫生成流程，基于一個(gè)包含59.4k高質(zhì)量綁定模型的數(shù)據(jù)集構(gòu)建。Puppeteer 首先使用自回歸 Transformer 生成骨架，采用基于關(guān)節(jié)的tokenization和帶隨機(jī)化的層級(jí)排序來(lái)捕捉骨架結(jié)構(gòu)。隨后，利用一個(gè)融合拓?fù)涓兄卣鞯淖⒁饬W(wǎng)絡(luò)預(yù)測(cè)蒙皮權(quán)重，接著通過(guò)高效優(yōu)化模塊生成穩(wěn)定、高質(zhì)量的動(dòng)畫，計(jì)算成本低廉。在多個(gè)基準(zhǔn)測(cè)試中，Puppeteer 在骨架保真度、蒙皮精度和動(dòng)畫平滑性方面均優(yōu)于當(dāng)前最先進(jìn)的方法。

本文轉(zhuǎn)自AI生成未來(lái) ，作者：AI生成未來(lái)

原文鏈接:??https://mp.weixin.qq.com/s/CRK9I-6YAqhnCkudD2xWSg??