AI視頻生成革命！MIT領銜豪華天團讓生成效率暴漲370%，成本直降4.4倍
刷到1分鐘的AI生成短視頻時，你可能想象不到背后的算力成本。
傳統的視頻擴散模型，處理視頻時采用密集注意力機制。
這種方法雖然能保證畫質，但計算量大得嚇人，生成10秒視頻就要燒掉數千元算力費用，隨著視頻長度增加，算力需求呈指數級飆升。
最近，MIT英偉達等研究人員發明的「徑向注意力」技術，不僅讓長視頻生成速度提升3.7倍，還能把訓練成本砍掉4.4倍。
飛書文檔 - 圖片
論文鏈接：https://www.arxiv.org/abs/2506.19852
代碼鏈接：
https://github.com/mit-han-lab/radial-attention/
徑向注意力
在擴散模型的加持下，高質量視頻生成逐漸從科幻變成現實。
但視頻的時間維度給算力增加了不少負擔，導致訓練和推理長視頻的成本飆升。
生成10秒視頻就要燒掉數千元算力費用，價格之高令人望而卻步。
對此，團隊從熱力學借了點靈感：「沒有任何傳播是無損的；信號、影響、注意力都會隨著距離衰減?！?/p>
他們發現視頻擴散模型里的注意力分數同樣遵循這個規律——softmax后的權重隨著token間的空間和時間距離遞減。
這種「時空能量衰減」現象與自然界信號的物理衰減不謀而合。
這會不會就是視頻生成降本增效的關鍵？
為進一步證實這種猜想，團隊提出了「徑向注意力」（Radial Attention）：一種計算復雜度僅為O(nlog n)的稀疏注意力機制。
區別于之前SVG每次推理對空間/時間注意力進行動態選擇，徑向注意力用的是一種統一且高效的靜態掩碼。
這種掩碼把空間和時間注意力合二為一，帶來了更靈活、更快的長視頻生成體驗。
圖片
而且，這種簡潔的靜態注意力掩碼讓每個token只關注附近空間的鄰居。隨著時間距離的拉長，注意力窗口逐漸收縮。
相比傳統的O (n2)密集注意力，徑向注意力不僅大幅提升了計算效率，還比線性注意力擁有更強的表達能力。
在這項注意力機制創新的加持下，高質量視頻生成變得更快、更長。
訓練和推理的資源消耗極大地降低，為視頻擴散模型打開了新的可能。
圖片
效果有多驚艷？實測數據來說話
研究團隊在三個主流模型上做了測試：HunyuanVideo、Wan2.1-14B和Mochi 1，覆蓋了不同參數規模的場景。
Mochi 1可以生成長達5秒、480p分辨率、162幀的視頻；HunyuanVideo可以生成長達5秒、720p分辨率、125幀的視頻；Wan2.1-14B可以生成長達5秒、720p分辨率、81幀的視頻。
圖片
速度提升1.9倍到3.7倍
在默認視頻長度下（如HunyuanVideo的117幀），徑向注意力能把推理速度提升1.9倍左右。
當視頻長度擴展到4倍時，速度提升更明顯：從2895秒（近50分鐘）降到781秒（約13分鐘），足足快了3.7倍！
以前一小時才能生成的視頻，現在喝杯咖啡的功夫就搞定了。
表1展示了在HunyuanVideo和Wan2.1-14B的默認生成長度下，徑向注意力與三個強稀疏注意力基線的比較。
圖片
在相同的計算預算（以TFLOPs衡量）下，徑向注意力保留了密集注意力的視頻質量，同時在相似性指標（PSNR、SSIM、LPIPS）上始終優于STA和PA，并與SVG的質量相匹配。
圖片
在單個H100上，徑向注意力為HunyuanVideo和Wan 2.1分別實現了1.9倍和1.8倍的端到端加速，與理論計算預算節?。?.8倍和1.7倍TFLOPs）相匹配。
盡管STA通過使用 FlashAttention-3（FA-3）產生了略高的加速，但視覺質量明顯下降。
訓練費用最多節省4.4倍
長視頻生成最燒錢的其實是訓練階段。用徑向注意力配合LoRA微調技術，訓練成本直接大幅下降。
對于企業來說可是天大的好消息，以前做一個長視頻項目可能要投入幾十萬，現在可能只需要幾萬塊。
表2提供了2倍和4倍原始長度的視頻生成結果。為了確保公平性，所有稀疏注意力基線使用相似的稀疏率。
圖片
當生成長視頻時，未經進一步調優的原始模型表現出顯著的質量退化，尤其是在4倍視頻長度擴展時。
雖然RIFLEx在2倍長度外推時提高了性能，但其質量在此之后惡化，表明擴展能力有限。
空間和時間稀疏注意力受到有限感受野的影響；另一方面，LongLoRA和PA雖然具有全局感受野，但未能捕捉時空相關性，導致質量下降。
有趣的是，PA在微調后視覺獎勵有很大提高，表明其原始稀疏模式與預訓練的注意力分布不一致。
微調允許模型適應施加的注意力稀疏性，改善對齊和質量。
SANA將softmax注意力替換為線性注意力，需要大規模重新訓練，并且在基于微調的視頻長度擴展下失敗。
相比之下，徑向注意力實現了與LoRA微調密集注意力模型相當的質量。甚至在默認視頻長度下，比預訓練模型略微提高了視覺獎勵。
圖片
由于O(nlog n)復雜度，徑向注意力比原始密集注意力提供了顯著的推理和訓練加速，如表2和圖2所示。
生成4倍長的視頻時，可以節省高達4.4倍的訓練成本，并實現高達3.7倍的推理加速。
最關鍵的是，速度和成本降下來了，畫質還沒縮水。
在HunyuanVideo上，徑向注意力的PSNR值達到27.3，和原始模型基本持平；視覺獎勵分數0.134，甚至比密集注意力的0.133還高一點點。
不只是快：徑向注意力的「隱藏技能」
很多技術升級都需要重新訓練模型，但徑向注意力不需要。
它可以直接應用在預訓練好的模型上，通過簡單的 LoRA 微調就能實現加速。
徑向注意力的一個關鍵優勢是與預訓練的特定任務LoRA（如藝術風格遷移）的無縫兼容性，這對創作者太友好了。
如圖8所示，將擴展長度LoRA與現有風格LoRA結合使用，在實現長視頻生成的同時保留了視覺質量。
研究團隊還觀察到，合并LoRA生成的內容風格與原始LoRA略有不同。
這種差異主要歸因于用于訓練擴展長度LoRA的相對較小的數據集，這可能引入輕微的風格偏差，與風格LoRA相互作用。
在更全面的數據集上訓練長度擴展LoRA，預計將有助于緩解這個問題。
以前生成1分鐘的AI視頻是很多中小團隊不敢想的，現在徑向注意力讓這事變得可行了。
以后，我們可能會看到更多AI生成的長視頻內容，像短視頻平臺的劇情號。
參考資料：
