文章鏈接：https://arxiv.org/pdf/2510.18692 項(xiàng)目鏈接：https://jiawn-creator.github.io/mixture-of-groups-attention/

MoGA 生成的一分鐘視頻

亮點(diǎn)直擊

• MoGA，一種有效的稀疏注意力機(jī)制，它通過(guò)輕量級(jí)token router用精確的組分配取代了塊級(jí)評(píng)分，從而能夠?qū)﹂L(zhǎng)上下文進(jìn)行有效建模。
• 基于MoGA，引入了一種視頻生成模型，能夠生成分鐘級(jí)別、多鏡頭、480p分辨率、24 fps的視頻，其上下文長(zhǎng)度約為58萬(wàn)個(gè)tokens。
• 廣泛的評(píng)估顯示，相較于最先進(jìn)的稀疏注意力基線和一個(gè)多鏡頭視頻生成模型，本方法取得了持續(xù)的改進(jìn)。

總結(jié)速覽

效果一覽

解決的問(wèn)題

1. 計(jì)算瓶頸：基于DiT的長(zhǎng)視頻生成受限于完全注意力機(jī)制的二次方計(jì)算復(fù)雜度。
2. 注意力冗余：注意力輸出由少量關(guān)鍵的查詢-鍵對(duì)主導(dǎo)，完全計(jì)算存在浪費(fèi)。
3. 現(xiàn)有稀疏方法的局限：基于分塊粗粒度估計(jì)的稀疏注意力方法存在精度與效率的權(quán)衡，其性能受塊大小限制。
4. 多階段流程的缺陷：現(xiàn)有的多階段（如先關(guān)鍵幀后插幀）生成流程目標(biāo)不統(tǒng)一，導(dǎo)致錯(cuò)誤累積并引入歸納偏差。
5. 長(zhǎng)視頻控制力不足：?jiǎn)我坏娜治谋咎崾驹~無(wú)法精確控制長(zhǎng)視頻中的場(chǎng)景轉(zhuǎn)換和特定時(shí)間點(diǎn)的事件。

提出的方案

1. MoGA (Mixture-of-Groups Attention)：一種高效的稀疏注意力機(jī)制，核心是使用輕量級(jí)、可學(xué)習(xí)的 token router來(lái)精確分配 token，無(wú)需分塊估計(jì)。
2. 混合注意力架構(gòu)：將動(dòng)態(tài)的MoGA與靜態(tài)的時(shí)空窗口注意力相結(jié)合，以兼顧長(zhǎng)程一致性與局部保真度。
3. 鏡頭級(jí)條件控制：引入了通過(guò)跨模態(tài)注意力實(shí)現(xiàn)的鏡頭級(jí)文本條件控制，每個(gè)鏡頭由一個(gè)簡(jiǎn)短的描述引導(dǎo)。
4. 數(shù)據(jù) Pipeline ：構(gòu)建了能夠生成帶有多鏡頭、密集字幕和可靠鏡頭分割信息的分鐘級(jí)視頻樣本的數(shù)據(jù) Pipeline 。

應(yīng)用的技術(shù)

1. 動(dòng)態(tài) token 路由：受混合專家（MoE）啟發(fā)，使用一個(gè)線性層作為router，將 token 分配到特定的組。
2. 組內(nèi)全注意力：在由router劃分的每個(gè)組內(nèi)執(zhí)行完全注意力計(jì)算。
3. 與現(xiàn)代技術(shù)棧集成：作為一種無(wú)核方法，MoGA能夠與FlashAttention和序列并行等現(xiàn)代注意力優(yōu)化技術(shù)無(wú)縫集成。
4. 跨模態(tài)注意力：用于實(shí)現(xiàn)文本描述對(duì)視頻生成的細(xì)粒度控制。
5. 語(yǔ)義感知路由：通過(guò)可學(xué)習(xí)的router實(shí)現(xiàn)基于語(yǔ)義的 token 匹配，促進(jìn)有效的長(zhǎng)程交互。

達(dá)到的效果

1. 高效長(zhǎng)視頻生成：開(kāi)發(fā)了一個(gè)高效的模型，能夠端到端地生成分鐘級(jí)、多鏡頭、480p分辨率、24 fps的視頻，上下文長(zhǎng)度達(dá)到約58萬(wàn) token。
2. 精確 token 分配：避免了粗粒度估計(jì)，實(shí)現(xiàn)了對(duì)每個(gè) token 的精確分配。
3. 有效的長(zhǎng)程交互：通過(guò)語(yǔ)義感知路由，實(shí)現(xiàn)了有效的長(zhǎng)程依賴建模。
4. 驗(yàn)證有效：在多種視頻生成任務(wù)上的綜合實(shí)驗(yàn)驗(yàn)證了該方法的有效性。

方法

混合分組注意力 (MoGA)

組分配概率的計(jì)算公式為：

token被分配給概率最高的組：

在組分配之后，在每個(gè)組內(nèi)獨(dú)立地應(yīng)用自注意力。MoGA的輸出

如下圖3所示，在視頻生成過(guò)程中從一個(gè)中間層的router提取分組分配情況，并可視化了一個(gè)代表性組。經(jīng)過(guò)端到端訓(xùn)練后，router將人物的頭部、手部和部分衣物分配到同一組，這表明其能夠捕捉跨越鏡頭邊界的語(yǔ)義連貫結(jié)構(gòu)。

MoGA 建立在分組注意力的基礎(chǔ)上，并保持與高性能內(nèi)核（如 FlashAttention）的兼容性（參見(jiàn)算法 1）。除了稀疏注意力之外，長(zhǎng)上下文建模的第二個(gè)支柱是序列并行性，MoGA 也與之兼容。在每個(gè)注意力層的序列收集和頭部分散步驟之前，MoGA 計(jì)算token（包含完整的頭）的路由分?jǐn)?shù)，然后跨所有 token 聚合路由結(jié)果。

組平衡損失。token分配的一個(gè)潛在問(wèn)題是router可能崩潰，將大多數(shù) token 僅路由到少數(shù)幾個(gè)組，這將使 MoGA 退化為完全注意力。為了鼓勵(lì)跨組的自適應(yīng)token分配，引入了一個(gè)輔助的組平衡損失，其靈感來(lái)源于 MoE 中使用的負(fù)載平衡損失。該損失定義為：

時(shí)空分組注意力。盡管 MoGA 捕捉長(zhǎng)程連貫性，但它缺乏局部連續(xù)性。使用局部時(shí)空分組注意力對(duì)其進(jìn)行補(bǔ)充，該機(jī)制將自注意力限制在潛在視頻空間中的局部窗口內(nèi)，如下圖 2(a) 所示。這以有限的計(jì)算量捕捉短程依賴。

首先將潛在視頻劃分為固定的空間窗口，然后沿時(shí)間軸對(duì)幀進(jìn)行分組。來(lái)自不同鏡頭的幀被分配到不同的時(shí)間組。通過(guò)實(shí)驗(yàn)發(fā)現(xiàn)，完全移除鏡頭間的交互會(huì)導(dǎo)致鏡頭切換后的第一幀出現(xiàn)閃爍。為了緩解這個(gè)問(wèn)題，在計(jì)算分組注意力時(shí)，用來(lái)自相鄰鏡頭的兩個(gè)潛在幀來(lái)增廣鍵和值（而不增廣查詢）。這在鏡頭邊界處保持了連續(xù)性，且額外計(jì)算量可忽略不計(jì)。為了實(shí)現(xiàn)幀內(nèi)信息交換，還通過(guò)在每個(gè)潛在幀內(nèi)對(duì) token 進(jìn)行分組來(lái)執(zhí)行逐幀注意力。因此，每個(gè) token 接收來(lái)自多個(gè)組（一個(gè)動(dòng)態(tài)組和兩個(gè)靜態(tài)組）的輸出，我們?nèi)∷鼈兊钠骄底鳛樽罱K輸出。

數(shù)據(jù) Pipeline

構(gòu)建了一個(gè) Pipeline ，將原始長(zhǎng)視頻轉(zhuǎn)換為一分鐘、多鏡頭的片段，并帶有密集標(biāo)注，用于長(zhǎng)視頻生成。該 Pipeline 有兩個(gè)階段：視頻級(jí)階段和鏡頭級(jí)階段（下圖 4）。

視頻級(jí)。首先使用視覺(jué)質(zhì)量評(píng)估模型（例如，美、清晰度、曝光度）和簡(jiǎn)單操作符（例如，黑邊檢測(cè)）分析原始視頻，以獲取元數(shù)據(jù)和質(zhì)量分?jǐn)?shù)。然后，我們使用針對(duì)特定來(lái)源校準(zhǔn)的閾值過(guò)濾原始視頻，以移除低質(zhì)量?jī)?nèi)容。由于長(zhǎng)視頻樣本需要時(shí)間連貫性，放寬了片段級(jí)過(guò)濾，同時(shí)在來(lái)源（原始視頻）級(jí)別應(yīng)用更嚴(yán)格的過(guò)濾。接下來(lái)，使用 AutoShot和 PySceneDetect將每個(gè)視頻分割成單鏡頭片段。AutoShot 對(duì)淡入淡出和漸變過(guò)渡顯示出更高的敏感性。結(jié)合兩種工具的預(yù)測(cè)結(jié)果，使我們能夠標(biāo)記一個(gè)邊界是清晰的還是受到過(guò)渡重疊的影響。此階段產(chǎn)生一個(gè)單鏡頭片段的池。

?

鏡頭級(jí)。使用 VQA 和光學(xué)字符識(shí)別模型處理單鏡頭片段，并丟棄低質(zhì)量片段?；?OCR 結(jié)果，計(jì)算一個(gè)最大區(qū)域裁剪，以排除水印和字幕，同時(shí)保留原始寬高比。保留區(qū)域不足的片段將被丟棄。接下來(lái)，使用多模態(tài)大語(yǔ)言模型為裁剪后的片段生成字幕。最后，將時(shí)間上相鄰的單鏡頭片段合并成多鏡頭訓(xùn)練樣本（最多 65 秒），并從受過(guò)渡重疊影響的片段中修剪掉幾幀，以確保邊界清晰。

實(shí)驗(yàn)

基線模型。為評(píng)估我們的方法，與多個(gè)基線模型進(jìn)行了比較。對(duì)于多鏡頭長(zhǎng)視頻生成，納入了基于關(guān)鍵幀的流程 IC-LoRA+Wan和原生支持多鏡頭生成的 EchoShot。對(duì)于稀疏視頻生成，與稀疏注意力方法進(jìn)行比較，包括基于訓(xùn)練的 DiTFastAttn 和免訓(xùn)練方法 SVG 與 VMoBA。

?

評(píng)估指標(biāo)。遵循先前工作，使用 VBench引入的指標(biāo)評(píng)估所有方法。具體而言，主體一致性和背景一致性衡量視頻中采樣幀的主體和背景的保持程度。運(yùn)動(dòng)平滑度衡量運(yùn)動(dòng)的流暢性，對(duì)抖動(dòng)和突兀的過(guò)渡進(jìn)行懲罰。我們還報(bào)告美學(xué)質(zhì)量和圖像質(zhì)量，以量化每幀的視覺(jué)吸引力和技術(shù)保真度。為計(jì)算跨鏡頭一致性，我們首先從不同鏡頭中采樣固定數(shù)量的幀。然后使用 CLIP和 DINOv2 計(jì)算跨鏡頭的特征相似度，分別稱為跨鏡頭 CLIP 和跨鏡頭 DINO。對(duì)于單鏡頭 5 秒視頻生成，構(gòu)建了一個(gè)包含 300 個(gè)提示詞的多樣化測(cè)試集。對(duì)于多鏡頭 10 秒視頻生成，本文使用來(lái)自 [38] 的 100 個(gè)多鏡頭提示詞集。對(duì)于長(zhǎng)視頻生成，在一個(gè)包含 105 個(gè)提示詞的 11 個(gè)腳本測(cè)試集上進(jìn)行評(píng)估。每個(gè)腳本包含 8-10 個(gè)鏡頭以生成 30 秒的視頻。

定量結(jié)果

首先，將 MoGA 與先前的稀疏注意力方法在單鏡頭短視頻生成上進(jìn)行比較，遵循它們的評(píng)估設(shè)置以確保公平。如下表 1 所示，盡管稀疏度更高，但 MoGA 在所有指標(biāo)上均比現(xiàn)有稀疏基線取得了一致的提升。值得注意的是，盡管我們的方法高度稀疏，但在多個(gè)指標(biāo)上仍能匹配或超越原始 Wan（完全注意力）。

接下來(lái)，將 MoGA 與其他多鏡頭視頻生成方法進(jìn)行比較。下表 2 報(bào)告了 MoGA、IC-LoRA+Wan 和 EchoShot 之間的定量比較。盡管依賴于稀疏注意力，我們的方法在大多數(shù)指標(biāo)上優(yōu)于完全注意力基線（EchoShot），這表明保留顯著 token 間的交互不僅能減少 FLOPs，還能抑制無(wú)關(guān)內(nèi)容帶來(lái)的噪聲。這帶來(lái)了更強(qiáng)的人物身份一致性和改進(jìn)的時(shí)間場(chǎng)景連貫性。

最后，對(duì)長(zhǎng)視頻生成進(jìn)行基準(zhǔn)測(cè)試并與基線比較。由于很少有開(kāi)源方法能生成 30 秒的多鏡頭視頻，將 MoGA（具有兩種骨干網(wǎng)絡(luò)）與 IC-LoRA+Wan 進(jìn)行比較。如下表 3 所示，在相同骨干網(wǎng)絡(luò)下，MoGA 大幅優(yōu)于 IC-LoRA+Wan，凸顯了端到端建模相較于多階段流程的優(yōu)勢(shì)。值得注意的是，即使在激進(jìn)的稀疏度下，基于 MMDiT 的 MoGA 仍保持了高視覺(jué)保真度，表明其通向更長(zhǎng)上下文長(zhǎng)度的可擴(kuò)展路徑。

定性結(jié)果

視覺(jué)比較。展示了跨代表性基線的 30 秒視頻的定性結(jié)果。由于 EchoShot 無(wú)法原生生成 30 秒輸出，將其生成的視頻片段拼接以形成完整序列。如下圖 5 所示，IC-LoRA+Wan 流程受限于其每次迭代的圖像數(shù)量上限（通常為三幀），這限制了其覆蓋更多鏡頭的能力。因此，隨著序列的進(jìn)行，它經(jīng)常表現(xiàn)出主體漂移和背景不一致。

EchoShot 能夠擴(kuò)展到更多鏡頭，但在長(zhǎng)時(shí)間范圍上仍然顯示出明顯的跨鏡頭不一致性。相比之下，MoGA 在延長(zhǎng)的持續(xù)時(shí)間內(nèi)保持了穩(wěn)定、連貫的內(nèi)容。例如，即使沒(méi)有在鏡頭間重復(fù)或明確指定，女士的帽子也始終保持一致。由于 STGA 缺乏顯式的跨鏡頭信息交換，這種一致性可歸因于 MoGA，它有效地選擇并保持了跨越鏡頭的身份和上下文。

?

1,441 幀的一分鐘視頻。在下圖 7 中，展示了基于 MMDiT 的 MoGA 模型（M=20）在超過(guò)一分鐘的超長(zhǎng)視頻上的生成結(jié)果。MoGA 保持了強(qiáng)大的長(zhǎng)程上下文一致性。第 1 個(gè)和第 22 個(gè)鏡頭保持高度連貫，并且女士的發(fā)夾和耳環(huán)等精細(xì)細(xì)節(jié)在鏡頭間得以保留。此外，即使有多個(gè)面孔出現(xiàn)在不同鏡頭中，模型也避免了身份混淆。

背景一致性的涌現(xiàn)。如下圖 8 所示，展示了 MoGA 保持背景一致性的能力。在經(jīng)過(guò)長(zhǎng)的多鏡頭視頻訓(xùn)練后，MoGA 展現(xiàn)出對(duì)環(huán)境與角色一致性的涌現(xiàn)性、隱性控制。即使沒(méi)有明確指定細(xì)節(jié)（例如，櫥柜形狀和靜脈輸液瓶的位置），不同鏡頭也能自動(dòng)保持連貫的、時(shí)間上一致的描繪。

多風(fēng)格視頻生成。下圖 9 展示了 MoGA 的多風(fēng)格生成能力。MoGA 不僅在寫(xiě)實(shí)領(lǐng)域表現(xiàn)強(qiáng)勁，在動(dòng)畫(huà)等風(fēng)格化領(lǐng)域也表現(xiàn)出色。它能夠生成高質(zhì)量的長(zhǎng)篇 2D 視頻，同時(shí)在不同風(fēng)格間保持時(shí)間連貫性、身份一致性和場(chǎng)景連續(xù)性。

消融研究

計(jì)算效率。下圖 6 繪制了 Wan2.1-1.3B 模型的組數(shù) (M) 與 FLOPs 的關(guān)系。實(shí)驗(yàn)表明，即使對(duì)于 30 秒視頻使用相對(duì)較小的組數(shù) (M=5)，MoGA 與完全注意力相比也實(shí)現(xiàn)了顯著的計(jì)算節(jié)省（2.26 PFLOPs 對(duì)比 6.94 PFLOPs）。它還在訓(xùn)練和推理中實(shí)現(xiàn)了 1.7 倍的加速。值得注意的是，與諸如 VMoBA 這類因其基于塊的機(jī)制而產(chǎn)生額外內(nèi)存開(kāi)銷的其他稀疏注意力不同，我們的方法保持了內(nèi)存效率，而沒(méi)有額外的內(nèi)存消耗。

路由組數(shù)M: 在固定計(jì)算預(yù)算下對(duì)組數(shù)進(jìn)行了消融研究（下表 4）?？珑R頭 DINO 和 CLIP 分?jǐn)?shù)隨著組數(shù)的增加呈現(xiàn)出先上升后下降的趨勢(shì)。這表明適度的分組稀疏性在全局一致性和效率之間取得了平衡，在保持計(jì)算效率的同時(shí)產(chǎn)生了接近最優(yōu)的一致性。

主體一致性的可控性。下圖 10 可視化比較了 MoGA 與完全注意力。兩種模型均在 10 秒數(shù)據(jù)上使用 Wan2.1-14B 進(jìn)行訓(xùn)練。左圖展示了 MoGA 在多個(gè)場(chǎng)景中保持主體身份的能力，而右圖展示了其在保持身份一致性的情況下對(duì)外觀變化（例如，服裝）的魯棒性。盡管具有 71.25% 的稀疏度，MoGA 實(shí)現(xiàn)了與完全注意力相當(dāng)?shù)臄⑹逻B貫性和內(nèi)容可編輯性，并且在某些情況下提供了更優(yōu)的性能。

MoGA 與 STGA 的有效性。如下圖 11 所示，MoGA 和 STGA 在實(shí)現(xiàn)上下文一致的長(zhǎng)視頻生成中扮演互補(bǔ)的角色。單獨(dú)使用 MoGA 缺乏局部信息交換，無(wú)法生成有意義的視覺(jué)內(nèi)容。相反，僅使用 STGA 限制了長(zhǎng)程鏡頭交互，導(dǎo)致跨鏡頭一致性差和敘事連貫性減弱。當(dāng)兩者結(jié)合時(shí)，模型實(shí)現(xiàn)了強(qiáng)大的跨鏡頭一致性。這些結(jié)果表明，MoGA 以相對(duì)較低的計(jì)算成本有效地路由并保持了跨越鏡頭的身份和上下文。

結(jié)論

MoGA，一種稀疏注意力機(jī)制，它通過(guò)輕量級(jí) token router，用精確的、學(xué)習(xí)得到的分組分配取代了粗粒度的塊級(jí)評(píng)分。通過(guò)將 token 路由到連貫的組中，MoGA 提高了超長(zhǎng)上下文下的注意力效率和保真度?；?MoGA，我們提出了能夠生成分鐘級(jí)別、多鏡頭、480p 分辨率、24 fps 視頻的生成模型。在視頻生成中的多樣實(shí)驗(yàn)進(jìn)一步證明了我們方法的有效性。

本文轉(zhuǎn)自AI生成未來(lái) ，作者：AI生成未來(lái)

原文鏈接:??https://mp.weixin.qq.com/s/0t5hqopkW_8vvPXxVV3p9w??