文生視頻可以精細到什么程度？最近，阿里巴巴的一項研究給出了答案：1280×720 分辨率沒有壓力，而且生成效果非常連貫。

文本提示：A kitten in flowers, Chinese painting.（一只小貓在花叢中，中國畫。）

文本提示：A yellow robot.（一個黃色的機器人）

文本提示：A photo of an ancient shipwreck nestled on the ocean floor. Marine plants have claimed the wooden structure...（海底一艘古老沉船的照片。海洋植物侵蝕了木結構……）

這些 demo 來自阿里聯合浙江大學、華中科技大學提出的文生視頻模型 I2VGen-XL，該模型能夠生成各種類別的高質量視頻，如藝術畫、人像、動物、科幻圖等。生成的視頻具有高清、高分辨率、平滑、美觀等優點，適合廣泛的視頻內容創作任務。在與 Gen2、Pika 生成效果對比上， I2VGen-XL 生成的視頻動作更加豐富，主要表現在更真實、更多樣的動作，而 Gen-2 和 Pika 生成的視頻似乎更接近靜態。

除了生成效果，這項工作更令人印象深刻的一點是研究人員在數據上下的工夫。為了提高生成效果的多樣性，研究人員收集了大約 3500 萬單鏡頭文本 - 視頻對和 60 億文本 - 圖像對來優化模型，這是一個非常龐大的數據集，其后續潛力令人期待。

論文細節

• 論文地址：https://arxiv.org/pdf/2311.04145.pdf
• 論文主頁：https://i2vgen-xl.github.io/page04.html

該研究表示得益于擴散模型的快速發展，視頻合成最近取得了顯著的進步。然而，它在語義的準確性、清晰度和時空連續性方面仍然面臨挑戰。

出現這種狀況的原因一方面是由于缺乏良好的經過對齊的文本 - 視頻數據，另一方面在于視頻本身復雜的內在結構，使得模型難以同時保證語義和質量的卓越性。

為了解決上述問題，研究者受到 SDXL 方法的啟發，提出了一種級聯的 I2VGen-XL 方法，其能夠生成具有連貫空間和運動動態化以及細節連續的高清視頻。

I2VGen-XL 旨在從靜態圖像生成高質量視頻。因此，它需要實現兩個關鍵目標：語義一致性，即準確預測圖像中的意圖，然后在保持輸入圖像的內容和結構的同時生成精確的運動；高時空一致性和清晰度，這是視頻的基本屬性，對于確保視頻創作應用的潛力至關重要。為此，I2VGenXL 通過由兩個階段組成的級聯策略分解這兩個目標：基礎階段和改進階段。

1. 基礎階段旨在保證低分辨率下生成視頻的語義連貫，同時還要保留輸入圖像的內容和主體信息。為了達到這一目標，研究者設計了兩個分層編碼器，即固定 CLIP 編碼器和可學習內容編碼器，分別提取高級語義和低級細節，然后將其合并到視頻擴散模型中。 
2. 改進階段：將視頻分辨率提高到 1280×720，并改進生成視頻中存在的細節和偽影。具體來說，研究者使用簡單的文本作為輸入來訓練一個獨特的視頻擴散模型，并優化了其初始的 600 個去噪 step。通過使用噪聲去噪過程，該研究實現了從低分辨率視頻生成具有時間和空間一致性的高清視頻。

具體而言：

基礎階段。基于 VLDM，本文設計的第一階段是低分辨率（即 448×256），主要側重于在輸入圖像上結合多級特征提取，包括高級語義和低級細節學習。

1. 高級語義學習。該研究表示用 CLIP 的視覺編碼器來提取語義特征，這種方法可以學習高級語義，但忽略了圖像中精細細節的感知。為了緩解這個問題，本文結合了一個額外的可訓練全局編碼器來學習具有相同形狀的互補特征，其架構如表 1 所示。
2. 低級細節。為了減少細節的損失，本文采用從 VQGAN 編碼器（即 D.Enc.）提取的特征，并將它們直接添加到第一幀的輸入噪聲中。

改進階段。經過基礎階段可以獲得具有多樣化且語義準確的運動的低分辨率視頻。然而，這些視頻可能會遇到各種問題，例如噪聲、時間和空間抖動以及變形。因此，改進模型有兩個主要目標：i）增強視頻分辨率，將其從 448 × 256 增加到 1280 × 720 或更高；ii) 提高視頻的時空連續性和清晰度，解決時間和空間上的偽影問題。

為了提高視頻質量，該研究訓練了一個單獨的 VLDM，專門處理高質量、高分辨率數據，并對第一階段生成的視頻采用 SDEdit 引入的噪聲去噪過程。

該研究還使用 CLIP 對文本進行編碼，并通過交叉注意力將其嵌入到 3D UNet 中。然后，基于基礎階段的預訓練模型，研究者使用精心挑選的高質量視頻訓練高分辨率模型，所有視頻的分辨率都大于 1280×720。

此外，該研究還收集了 3500 萬個高質量 single-shot 視頻和 60 億張圖像，以達到增強 I2VGen-XL 多樣性和穩健性的目的。

最后，廣泛的實驗評估結果表明 I2VGen-XL 可以同時增強生成視頻的語義準確性、細節的連續性和清晰度。此外，該研究還將 I2VGenXL 與當前的頂級方法進行了比較，結果都表明 I2VGenXL 在各種數據上的有效性。

實驗結果

與 Gen2 和 Pika 的比較結果

為了證明新方法的有效性，研究者將 I2VGen-XL 的性能與 Gen-2 和 Pika 進行了比較，二者被公認為是目前文生視頻領域最先進的方法。如圖 4 所示，作者使用這兩種方法的網頁界面生成了三種類型圖像的視頻，包括虛擬、寫實和抽象繪畫。

從這些結果中可以得出以下幾個結論：i) 動作的豐富性：I2VGen-XL 的結果顯示出更真實、更多樣的動作，例如最上方的例子。相比之下，Gen-2 和 Pika 生成的視頻似乎更接近靜態，這表明 I2VGen-XL 實現了更豐富的運動；ii) ID 保留程度：從這三個樣本中可以看出，Gen-2 和 Pika 成功地保留了物體的身份特征，而 I2VGen-XL 則丟失了輸入圖像的一些細節。在實驗中，作者還發現 ID 保留程度和運動強度之間存在一定的權衡關系。I2VGen-XL 在這兩個因素之間取得了平衡。

I2VGen-XL 生成視頻結果。

I2VGen-XL 生成視頻結果。

改進模型分析

圖 3 展示了改進階段前后生成的視頻。這些結果表明，空間細節得到了大幅提升，包括面部和身體特征的細化，以及局部細節中噪音的明顯減少。

為了進一步闡明改進模型的工作機制，本文在圖 7 的頻域中分析了在此過程中生成的視頻中發生的空間和時間變化。圖 7a 顯示了四個空間輸入的頻譜，表明：低質量視頻表現出與高頻范圍內的噪聲相似的頻率分布，而高質量視頻表現出與輸入圖像的頻率分布更相似。將其與圖 7b 所示的空間頻率分布相結合，可以觀察到改進模型有效地保留了低頻數據，同時在高頻數據中表現出更平滑的變化。從時間維度的角度來看，圖 7d 呈現了低質量視頻（上）和高質量視頻（下）的時間曲線，表明高清視頻的連續性有了明顯的改善。此外，結合圖 7b 和圖 7e 可以看出，改進模型在空間和時間域中保留了低頻分量，減少了中頻分量，并增強了高頻分量。這表明時空域中的偽影主要存在于中頻范圍。

定性分析

該研究還對更廣泛的圖像進行了實驗，包括人臉、3D 卡通、動漫、國畫、小動物等類別。結果如圖 5 所示，圖中可以觀察到生成的視頻考慮了圖像的內容和合成視頻的美感，同時還表現出有意義且準確的動作。例如，在第六行，模型準確地捕捉到了小貓可愛的嘴巴動作。這些結果表明 I2VGen-XL 表現出有前途的泛化能力。

生成穩定的人體運動仍然是視頻合成的主要挑戰。因此，該研究還專門驗證了 I2VGen-XL 在人體圖像上的穩健性，如圖 8 所示。可以觀察到，該模型對人體的預測和生成的運動相當真實，具有人體的大部分特征。

文本 - 視頻

文本到視頻合成目前面臨的主要挑戰之一是高質量視頻 - 文本對的收集，這使得與圖像合成相比，實現視頻和文本之間的語義對齊更加困難。因此，將 Stable Diffusion 等圖像合成技術與圖像到視頻合成相結合，有助于提高生成視頻的質量。事實上，為了尊重隱私，該研究幾乎所有樣本都是由兩者結合生成的。另外，在圖 6 中是本文單獨生成的樣本，可以觀察到視頻和文本表現出很高的語義一致性。

了解更多內容，請參考原論文。