清華大學(xué)的研究團隊首次提出了一種一步式視頻擴散技術(shù) VideoScene，專注于 3D 場景視頻生成。它利用了 3D-aware leap flow distillation 策略，通過跳躍式跨越冗余降噪步驟，極大地加速了推理過程，同時結(jié)合動態(tài)降噪策略，實現(xiàn)了對 3D 先驗信息的充分利用，從而在保證高質(zhì)量的同時大幅提升生成效率。實驗證明VideoScene可彌合從視頻到 3D 的差距。

視頻結(jié)果

相關(guān)鏈接

• 論文: https://arxiv.org/abs/2504.01956
• 項目: https://hanyang-21.github.io/VideoScene
• 代碼: https://github.com/hanyang-21/VideoScene

論文介紹

VideoScene：提取視頻擴散模型，一步生成 3D 場景

從稀疏視圖中恢復(fù) 3D 場景是一項具有挑戰(zhàn)性的任務(wù)，因為它存在固有的不適定問題。傳統(tǒng)方法已經(jīng)開發(fā)出專門的解決方案（例如，幾何正則化或前饋確定性模型）來緩解該問題。然而，由于輸入視圖之間的最小重疊和視覺信息不足，它們?nèi)匀粫?dǎo)致性能下降。幸運的是，最近的視頻生成模型有望解決這一挑戰(zhàn)，因為它們能夠生成具有合理 3D 結(jié)構(gòu)的視頻片段。在大型預(yù)訓(xùn)練視頻擴散模型的支持下，一些先驅(qū)研究開始探索視頻生成先驗的潛力，并從稀疏視圖創(chuàng)建 3D 場景。盡管取得了令人矚目的改進，但它們受到推理時間慢和缺乏 3D 約束的限制，導(dǎo)致效率低下和重建偽影與現(xiàn)實世界的幾何結(jié)構(gòu)不符。在本文中，我們提出VideoScene來提煉視頻擴散模型以一步生成 3D 場景，旨在構(gòu)建一個高效的工具來彌合從視頻到 3D 的差距。具體來說，我們設(shè)計了一種 3D 感知的跳躍流精煉策略，用于跳過耗時的冗余信息，并訓(xùn)練了一個動態(tài)去噪策略網(wǎng)絡(luò)，以便在推理過程中自適應(yīng)地確定最佳跳躍時間步長。大量實驗表明，我們的 VideoScene 比以往的視頻擴散模型實現(xiàn)了更快、更優(yōu)異的 3D 場景生成結(jié)果，凸顯了其作為未來視頻到 3D 應(yīng)用高效工具的潛力。

方法概述

VideoScene 的流程。 給定輸入對視圖，我們首先使用快速前饋 3DGS 模型（即MVSplat）生成粗略的 3D 表示，從而實現(xiàn)精確的攝像機軌跡控制渲染。編碼后的渲染潛在向量（“輸入”）和編碼后的輸入對潛在向量（“條件”）組合在一起，作為一致性模型的輸入。隨后，執(zhí)行前向擴散操作，為視頻添加噪聲。然后，將加噪視頻分別發(fā)送給學(xué)生模型和教師模型，以預(yù)測視頻。最后，通過蒸餾損失和 DDP 損失分別更新學(xué)生模型和 DDPNet。

結(jié)果展示

定性比較。可以觀察到基線模型存在諸如模糊、跳幀、過度運動以及物體相對位置偏移等問題，而 VideoScene 實現(xiàn)了更高的輸出質(zhì)量和更好的 3D 連貫性。

結(jié)論

VideoScene是一種新穎的快速視頻生成框架，它通過提煉視頻擴散模型，一步生成 3D 場景。具體而言，利用3D先驗知識約束優(yōu)化過程，并提出一種 3D 感知跳躍流提煉策略，以跳過耗時的冗余信息。此外設(shè)計了一個動態(tài)去噪策略網(wǎng)絡(luò)，用于在推理過程中自適應(yīng)地確定最佳跳躍時間步長。大量實驗證明了 VideoScene 在 3D 結(jié)構(gòu)效率和一致性方面的優(yōu)勢，凸顯了其作為彌合視頻到 3D 差距的高效工具的潛力。