ICCV 2025｜單視頻生成動態4D場景！中科大&微軟突破4D生成瓶頸，動畫效果炸裂來襲！
文章鏈接：https://arxiv.org/pdf/2507.23785
開源地址：https://gvfdiffusion.github.io/
亮點直擊
- 新穎的4D生成建?？蚣?/strong>，由兩個核心模塊組成：直接的4D網格到高斯變分場的VAE（變分自編碼器）與高斯變分場擴散模型。
- 訓練了一個擴散模型，用于學習變分場在隱空間中的分布，該模型以輸入視頻和標準3DGS為條件，從而實現可控的4D內容生成。
- 借助本文隱空間的緊湊性，采用DiT架構，并引入了時間自注意力層，以捕捉動畫序列中的平滑時間動態。
- 在經過精心篩選的、來自Objaverse和Objaverse-XL的多樣化可動畫3D物體集合上對模型進行了訓練。
- 在視頻到4D生成任務上具有顯著優勢。是從靜態3D生成邁向高質量4D內容創作的重要一步，為未來的4D生成任務鋪平了道路。
總結速覽
解決的問題
- 視頻到4D生成的挑戰：
- 4D內容（3D形狀 + 外觀 + 運動）的聯合建模維度極高，導致直接使用擴散模型建模4D數據在計算和數據構建上代價極大。
- 當前方法普遍依賴于逐實例擬合，效率低下，且難以泛化。
- 缺乏能夠從單個視頻輸入中高效生成高質量動態3D（4D）內容的通用框架。
提出的方案
- 整體框架：提出一個新穎的“視頻到4D生成框架”，由兩個核心模塊組成：
- 在VAE隱空間中建模高斯變分場的分布，條件輸入為視頻幀特征和標準3DGS，實現可控的4D動畫生成。
- 從4D網格動畫中直接編碼標準3D Gaussian Splatting（3DGS）及其隨時間變化的屬性（高斯變分場），壓縮到緊湊隱空間。
- Direct 4DMesh-to-GS Variation Field VAE：
- Gaussian Variation Field Diffusion Model：
應用的技術
- 高效表示學習：
- 利用 VAE 對高維4D動畫進行壓縮，避免逐實例擬合。
- 引入網格引導損失與圖像級損失，確保高斯點運動與真實網格運動對齊。
- 動作壓縮到512維隱空間，為后續建模提供高效表示。
- 擴散模型與條件生成：
- 采用時間感知的Diffusion Transformer（DiT）架構。
- 引入時間自注意力機制，捕捉動畫中的平滑動態變化。
- 使用交叉注意力機制融合視頻幀特征與標準3DGS。
- 加入位置先驗，增強高斯點與網格頂點之間的空間一致性。
- 訓練數據與泛化能力：
- 在 Objaverse 和 Objaverse-XL 中精心挑選的可動畫3D物體上進行訓練。
- 雖使用合成數據訓練，但模型在真實視頻輸入上具有良好泛化能力。
達到的效果
- 生成質量優異：
- 在視頻到4D生成任務中，相較現有方法展現出更高的生成質量與動畫保真度。
- 能夠從單個視頻輸入中生成結構清晰、運動自然的動態3D內容。
- 泛化能力強：
- 盡管訓練數據為合成數據，模型在真實世界視頻輸入上依然表現出色，生成結果具有高度可用性。
- 效率與可擴展性：
- 通過隱空間建模和高效擴散機制，大幅降低了4D生成的計算成本。
- 為未來高質量4D內容生成提供了可擴展的解決方案。
方法
- 一個直接的 4D 網格到高斯變分場的 VAE，用于高效地將3D動畫序列編碼為緊湊的隱空間；
- 一個高斯變分場擴散模型，用于學習在輸入視頻和標準高斯投影條件下的變分場隱空間分布。
以下部分將詳細介紹每個組件。
直接 4D 網格到高斯變分場的 VAE
將 3DGS 擴展到動態內容的生成建模面臨顯著挑戰。為每個動畫實例擬合單獨的動態 3DGS 表示在計算上開銷巨大，且擴展性差。此外，由于高斯數據量（例如 [32] 中通常超過 100K）和時間維度的高維性，直接使用擴散模型對高斯序列的時間變形進行建模也非常困難。因此，本文提出了一個高效的自動編碼框架，能夠將3D動畫數據直接編碼為高斯變分場，并壓縮到一個緊湊的隱空間中，從而便于后續的擴散建模。
高斯變分場擴散
緊湊的隱空間使本文能夠基于強大的 Diffusion Transformer (DiT) 架構構建擴散模型。如下圖 3 所示，模型以被噪聲擾動的隱空間變量為輸入，并通過一系列 transformer 塊進行去噪處理。每個 transformer 塊通過自適應層歸一化（adaLN）和門控機制引入擴散時間步信息。除了標準的空間自注意力層外，還引入了專門的時間自注意力層，以確保序列中的動作生成具有連貫性。
推理流程
實驗
數據集與評估指標
在 Objaverse-V1 和 ObjaverseXL 上進行實驗，遵循以往在4D內容生成中的工作。在篩選出具有高質量動畫的物體后，本文使用 34K 個物體進行訓練。為了評估視頻到4D的生成質量，本文構建了一個包含 100 個物體的綜合測試集，將廣泛使用的 Consistent4D 測試集中 7 個實例與來自 Objaverse-XL 的 93 個額外測試實例結合起來，以確保與以往工作的全面比較。本文為每個實例的每個時間步渲染 4 個新視角。
使用多個指標評估生成質量：PSNR、LPIPS 和 SSIM 用于逐幀質量評估，FVD 用于評估生成序列的時間一致性。所有評估均在512x512分辨率的渲染圖上進行。
實現細節
主要結果
定量比較。
將本文模型的視頻到4D生成結果與之前的最新方法進行比較，包括基于優化的方法 [28, 56, 79, 88] 和前饋方法 [57]。如下表 1 所示，本文的方法在所有質量指標上始終優于現有方法，表現出更優越的重建保真度和更好的時間連貫性。與一些需要數分鐘到數小時優化的以往方法 [28, 56, 79, 88] 不同，本文的方法更高效，僅需 4.5 秒即可生成一個4D動畫序列（其中 3.0 秒用于生成規范高斯場，1.5 秒用于高斯變分場擴散），僅比前饋重建方法 L4GM稍慢。這些定量結果共同驗證了本文方法的有效性和效率。
定性比較。
本文還在下圖 4 中提供了與之前最新方法的定性比較?；?SDS 的方法往往生成紋理模糊、幾何質量較差的結果。前饋方法 L4GM 利用從二維生成先驗生成的多視角圖像來重建 4DGS 序列。然而，L4GM 的結果受到生成多視角圖像的3D不一致性的影響。相比之下，本文的模型直接生成規范高斯場和高斯變分場，能夠創建高保真的3D一致動畫，并具有連貫的時間動態。
更多生成結果可視化。
下圖 5 展示了本文方法生成的更多結果，包括基于自然視頻（左兩例）和測試集視頻（右兩例）的示例。本文的模型展現出高質量的生成能力和真實的動作重現能力。盡管訓練于合成數據，模型在捕捉自然視頻輸入中的動作模式方面表現出強大的泛化能力。此外，模型還成功應對了具有挑戰性的多物體場景，突顯了本文方法的魯棒性。
消融研究
應用
盡管僅在單個視頻輸入上進行訓練，本文的模型依然能夠根據條件視頻中描繪的動作有效地為已有的3D模型生成動畫。如下圖 7 所示，該方法生成的動畫質量較高，能夠忠實地重現目標動作。因此，在實際應用中，用戶可以首先使用現成的視頻擴散模型從其3D模型渲染圖像生成二維動畫，然后使用本文的模型生成對應的4D動畫。
結論
本文提出了一個新穎的框架，用于應對4D生成建模的挑戰性任務。為了高效構建大規模訓練數據集并降低擴散建模的難度，首先提出了一個直接從4D網格到高斯變分場的變分自編碼器（VAE），該模型能夠高效地將復雜的運動信息壓縮到一個緊湊的隱空間中，而無需代價高昂的逐實例擬合。隨后，提出了一個高斯變分場擴散模型，用于在輸入視頻和規范3D高斯場的條件下生成高質量的動態變分場。通過將4D生成分解為規范3D高斯場生成和高斯變分場建模，本文方法顯著降低了計算復雜度，同時保持了高保真度。定量和定性評估表明本文的方法始終優于現有方法。此外，本文模型在自然視頻輸入下表現出卓越的泛化能力，推動了高質量3D動畫內容生成的發展。
本文轉自AI生成未來 ，作者：AI生成未來
