長視頻AI推理的“圣杯”！英偉達、MIT、港大、UC伯克利等重磅開源Long-RL
論文鏈接：https://arxiv.org/pdf/2507.07966
?Git鏈接：????https://github.com/NVlabs/Long-RL???
亮點直擊
- LongVILA-R1，一個面向長視頻理解推理能力的綜合性框架。
- 構建了一個高質量長視頻推理數據集LongVideo-Reason，包含了帶有鏈式思維（CoT）標注的推理樣本。
- 整理了一個包含1000 條長視頻樣本的平衡評估集LongVideoReason-eval，從四個維度全面評估：時間推理、目標與意圖推理、空間推理、情節與敘事推理。
- 提出了一種新的訓練框架，用于提升 VLM 在長視頻推理方面的能力。
- LongVILA-R1-7B在VideoMME上達到了68.4% 的準確率。大幅超越了Video-R1-7B和GPT-4o，并與Gemini-1.5-Pro表現相當。
總結速覽
解決的問題
- 長視頻推理任務復雜性高：長視頻包含豐富的時間動態、空間關系、目標導向行為和敘事結構，理解難度遠高于短視頻或圖像。
- 缺乏高質量的長視頻推理數據集：相比于數學或代碼等領域，長視頻推理缺乏結構化監督信號和大規模、高質量的標注數據。
- 長視頻強化學習訓練挑戰大：
- 視頻幀數多，導致內存需求高；
- rollout 過程長，訓練效率低；
- 上下文長度大，預填充開銷大；
- 訓練成本高，難以擴展。
提出的方案
- 構建高質量推理數據集 LongVideo-Reason：
- 包含 52K 條長視頻問答三元組（問題-推理-答案），涵蓋體育、游戲、vlog 等多領域；
- 引入鏈式思維（Chain-of-Thought, CoT）標注；
- 數據集分為 CoT 微調用的 18K 條和 RL 訓練用的 33K 條樣本。
- 提出兩階段訓練框架：
- 階段一：Long CoT-SFT，通過鏈式思維監督微調，提升模型的基本推理與指令跟隨能力；
- 階段二：強化學習（RL）訓練，進一步優化模型在復雜長視頻推理任務中的表現。
- 開發 MR-SP 訓練系統（Multi-modal Reinforcement Sequence Parallelism）：
- 引入vLLM 引擎，定制支持長視頻；
- 實現視頻嵌入緩存機制，提升 rollout 和預填充效率；
- 采用序列并行策略，解決內存瓶頸與計算瓶頸。
- 構建評估基準 LongVideo-Reason-eval：
- 包含 1000 條長視頻樣本；
- 從四個維度系統評估模型：時間推理、目標與意圖推理、空間推理、情節與敘事推理。
應用的技術
- 視覺語言多模態模型（VLM）：基于 NVILA-8B 和其他開源大模型；
- 鏈式思維監督微調（CoT-SFT）：引導模型進行多步推理；
- 強化學習（RL）：對齊模型行為與復雜推理目標；
- 多模態強化序列并行（MR-SP）：
- 支持視頻、文本、音頻等多模態輸入；
- 使用 vLLM 引擎與視頻嵌入緩存優化長視頻處理；
- 提升訓練效率，降低資源消耗；
- 長上下文處理機制：支持處理長達一小時的視頻（約 3600 幀 / 256k token）；
- 開源訓練系統：支持 VILA、Qwen 系列模型及圖像/視頻生成模型的 RL 訓練。
達到的效果
- 在多個基準測試中表現優異：
- 在VideoMME基準測試中，LongVILA-R1-7B 達到68.4% 的準確率；
- 在LongVideo-Reason-eval上四維推理平均準確率為 **67.9%**，超過 Video-R1-7B 和 GPT-4o，媲美 Gemini-1.5-Pro。
- 推理能力顯著提升：
- 在時間推理、目標與意圖推理、空間推理、情節推理四大維度均取得領先；
- 能夠處理更復雜的推理任務，如戰術分析、目標預測、空間定位、情節理解等。
- 訓練效率顯著提高：
- MR-SP 系統在 RL 訓練中實現最高 2.1× 加速；
- 支持更長幀數訓練，避免內存溢出問題。
- 良好的可擴展性與開源支持：
- 模型性能隨輸入幀數穩步提升；
- 訓練系統已開源，支持多模態、多模型、多任務的強化學習訓練。
LongVideo-Reason 數據構建
高質量的長視頻標注數據集對于 VLM 至關重要。現有公開的長視頻數據集缺乏高質量的推理標注。本節詳細介紹了一個包含 52K 條帶推理的長視頻問答對的數據構建過程（見下圖 4）。
數據整理概覽
首先從 Shot2Story 數據集中整理出 18K 條長視頻（下圖 3，左）。隨后，應用一個高質量的自動化鏈式思維（CoT）標注流程，最終構建了總計 52K 條“問題-推理-答案”三元組。每個樣本根據其所涉及的推理類型，可被歸類為時間推理、目標與意圖推理、空間推理或情節與敘事推理（下圖 3，中）。該數據集旨在全面支持各種類型的長視頻推理任務。
鑒于 GRPO 對 batch 采樣的敏感性，采用了一種數據篩選方法。具體而言，使用一種測試縮放方法：LongVILA 對原始數據集進行 10 次推理。對問題始終回答正確或錯誤的樣本被標記為“簡單”或“困難”，而導致預測多樣性的樣本則被標記為“中等”。本文將“簡單”和“困難”樣本用于第 1 階段的 COT-SFT，將“中等”樣本用于第 2 階段的強化學習訓練。原因在于 GRPO 期望每個樣本的 rollout 具有多樣性，才能帶來有效的優化優勢；如果所有 rollout 都預測正確或錯誤答案，則梯度將消失。
?
COT-SFT 子集（18K）包含高質量的 CoT 推理過程，采用標準格式 ??<think></think><answer></answer>??，為模型第 1 階段的推理能力預熱訓練提供了豐富資源。與此同時，RL 子集包含 33K 條具有挑戰性的長視頻問答樣本，用于第 2 階段通過強化學習擴展推理能力。為了進一步提升 RL 的擴展性，本文還引入了來自其他數據集的額外 110K 條高質量開源視頻（上圖 3，右）。這種組合提高了模型的泛化能力。
長視頻推理生成
本文引入了一個自動化標注流程（上圖 4），用于從長視頻中生成高質量的“問題-推理-答案”三元組。該流程首先將視頻分割為多個短片段（每段約 10 秒），并使用 NVILA-8B 模型對每個片段生成描述性字幕。在此基礎上，借助文本推理的突破，本文調用領先的開源推理大語言模型，提供整段視頻中所有片段的字幕，并提示其生成涵蓋整段視頻內容的多種類型“問題-推理-答案”三元組。
?
具體而言，本文設計了四種提示詞模板，引導大模型生成聚焦于以下四類推理之一的問答對：時間推理、目標與意圖推理、空間推理或情節與敘事推理。為了確保 VLM 聚焦于視覺細節，本文在提示詞中加入了“檢查視頻”、“分析場景”等短語，引導模型對視覺內容進行反復觀察。最后，本文再使用一個大語言模型對推理步驟進行精煉與簡化。
?
本文還手動整理了 1000 條涵蓋四類推理的高質量復雜問題，作為新的評估基準（LongVideo-Reason-eval），用于評估 VLM 的推理能力。整個數據構建過程共消耗約 40,000 小時的 H100 GPU 計算資源。
LongVILA 訓練流程
如下圖 5 所示，LongVILA-R1 包含兩個擴展訓練階段：(1) 使用 18K 條高質量 CoT 數據在 MM-SP 系統上進行 SFT，用于長視頻推理的預熱訓練；(2) 使用密集幀的長視頻進行強化學習訓練。
長視頻 CoT 監督微調
在 52K 條高質量“問題-推理-答案”數據的基礎上，本文采用前文所述的數據篩選方法，選取其中 18K 條用于長視頻 CoT-SFT，作為后續 RL 的預熱階段。該階段賦予模型基本的推理能力和長視頻場景下的指令跟隨能力。為了高效地在數百幀視頻上進行 SFT，本文采用了 LongVILA 的 MM-SP 訓練系統。如下文所示，僅使用 LongVideo-Reason 數據集進行 SFT，也能有效提升模型的基礎推理能力。
長視頻的 GRPO
然而，由于處理數百到數千幀所需的高計算量，長視頻的強化學習面臨重大挑戰?，F有的強化學習框架在 rollout 和大語言模型預填充階段難以應對如此長的上下文訓練。為了解決這一問題，本文開發了 MR-SP 框架，該框架能夠高效擴展用于長上下文視頻推理的強化學習。
?
考慮到 GRPO 在訓練過程中對采樣的敏感性，本文使用前文匯總所述篩選后的 33K 條數據進行強化學習訓練。此外，還引入了來自 Video-R1 的額外 110K 條樣本以擴大強化學習規模。該方法旨在引導模型自由探索并發展出更有效且更具泛化能力的推理策略。
多模態強化學習序列并行
現有用于 VLM 的強化學習框架，如 R1-V 和 EasyR1，并未針對長視頻設計，而長視頻由于其巨大的 token 數量帶來了獨特挑戰。為了解決這一問題，本文提出了多模態強化學習序列并行（MR-SP）框架，用于在長視頻上進行高效的強化學習訓練。MR-SP 在 rollout 和預填充階段都采用了序列并行技術，從而在降低開銷的同時實現長視頻的強化學習。
階段一：并行編碼的 Rollout
為了高效支持長視頻的強化學習，本文在視頻編碼階段采用了序列并行（SP）策略。如下圖 7 所示，輸入的視頻幀首先被平均分配到多個 GPU（例如 GPU 1 到 GPU 3）上，每個 GPU 配備其獨立的視覺編碼器。每個 GPU 獨立處理視頻的一部分，僅編碼其分配到的幀子集。隨后，通過如圖中“All-Gather”箭頭所示的 all-gather 操作，將得到的視頻嵌入與文本嵌入進行聚合。該策略分散了編碼負載，使系統能夠借助更多 GPU 處理顯著更長的視頻，同時避免 GPU 內存溢出的風險。
這種并行編碼方案確保了視覺編碼器的負載均衡，并實現了原本在單設備上難以完成的可擴展長視頻處理。
?
在全局聚合視頻嵌入之后，它們會在整個強化學習流程中被重復使用。如上圖 7 所示，這些聚合后的嵌入在多個 rollout 中被復用，無需重新計算。例如，在每個訓練步驟中，本文通常執行 8 到 16 次 rollout。如果不進行復用，同一個視頻在每一步中需要被重新編碼數十次，嚴重影響訓練速度。通過緩存并復用聚合嵌入，MR-SP 消除了這種冗余，大幅加快了訓練過程。
階段二：使用序列并行的預填充
對于每次 rollout，參考模型和策略模型都需要進行計算密集型的預填充操作，尤其是在處理長視頻時。借助階段一中復用的聚合嵌入，本文在推理階段使用序列并行將計算分布到多個設備上。如上圖 7 所示，聚合后的輸入嵌入首先被填充至統一長度（Padding Sequence），然后平均劃分到各個 GPU 上（Sharding to Local GPU）。這使得每個 GPU 在預填充時只需處理輸入序列的一部分。
這種并行方式同時應用于策略模型和參考模型的預填充階段。隨后，每個 GPU 在本地為其對應的 token 子序列計算 logits，實現并行預填充。
實驗結果
主要結果
下表 1 展示了在 9 個視頻基準測試上的性能比較。LongVILA-R1-7B 在所有基準上均優于 LongVILA-7B，性能差距根據推理任務的復雜程度有所不同。
下表 3 展示了 LongVILA-R1 在 Video-MME 基準上與現有先進模型在相似模型規模下的整體性能比較。LongVILA-R1-7B 在不同視頻長度下均取得領先分數。
LongVILA-R1-7B 在不同視頻長度設置中均取得領先分數，在無字幕和有字幕設置下分別獲得 和 的得分。
?
下表 2 比較了本文在 LongVideo-Reason-eval 基準上的結果。LongVILA-R1-7B 模型取得了平均得分 的強勁表現，顯著超越了 Video-R1-7B 和 GPT-4o，略微優于 Gemini-1.5-Pro。
盡管 Gemini-1.5-Pro 在時間推理、目標與意圖推理以及情節與敘事推理方面表現出色，LongVILA-R1-7B 的得分總體上也具有可比性。值得注意的是，在空間推理類別中，LongVILA-R1-7B 獲得了 的得分。
消融實驗
視頻幀數擴展。 LongVILA-R1 的推理能力隨著輸入視頻幀數的增加而持續提升。具體來說，下圖 8 展示了 LongVILA-1.5B（灰線）和 LongVILA-1.5B-R1（紅線）在不同幀數輸入下，在長視頻推理基準上的表現。
訓練流程與數據集的消融。 如下表 4 所示，本文從 LongVILA-1.5B 出發，評估訓練階段與數據集的有效性。準確率在 LongVideo-Reason-eval 上進行評估。? 表示跳過該階段，? 表示使用本文數據集訓練該階段，O 表示使用其他數據集訓練該階段。
本文的 CoT-SFT 數據集比其他數據集帶來更好的性能。此外，在預熱階段（CoT-SFT）基礎上引入強化學習（RL）帶來了額外提升，相較于僅使用 SFT 更為有效。
?
本文展示了如果跳過 CoT-SFT 階段，直接使用 RL 訓練模型，準確率會下降。如果在 CoT-SFT 和 RL 兩個階段都使用 Video-R1 數據集，性能也不如使用本文數據集。
?
MR-SP 的訓練效率。本文在一個 A100 節點（即 8 張 A100 80GB GPU）上對 MR-SP 系統的訓練效率進行了比較。本文測量每個訓練步驟的前向時間。結果是在 10 次預熱迭代后，取 5 次迭代的平均值以減少方差。
?
本文使用 LongVILA-7B-R1 模型，訓練時每個 GPU 的 batch size 為1 ，rollout 數為 2。上圖 1 展示了在不同幀數下的訓練效率比較，繪制了三種設置下每步運行時間（秒）：不使用 MR-SP 的原始 RL 系統，僅使用 MR-SP 的階段一，以及完整的 MR-SP 系統（階段一和階段二）。
?
基線系統的運行時間隨著幀數的增加急劇上升。僅使用 MR-SP 的階段一在 512 幀以內顯著提升了效率，但在超過該點后出現 GPU 內存溢出（OOM）問題。相比之下，完整的 MR-SP 系統持續減少運行時間，在 512 幀時實現了最高2.1x 的加速，并可高效擴展至1024 幀而不會出現 OOM，突顯了序列重用與序列并行結合在長視頻強化學習訓練中的優勢。
結論
本文提出了一個全面的框架，旨在實現視覺語言模型（VLM）在長視頻推理任務中的完全擴展。LongVILA-R1 包含一個精心構建的大規模數據集 LongVideo-Reason，以及一個并行化訓練框架 MR-SP。借助本文整理的包含 52K 條長視頻問題-推理-答案對的數據集，并結合其他開源視頻數據集，本文采用了結合 CoT-SFT 和 RL 的兩階段訓練流程。
此外，公開了訓練系統，支持多模態（視頻、文本和音頻）下的 RL 訓練，適用于多種模型（包括 VILA 和 Qwen 系列），甚至支持圖像和視頻生成模型。
本文轉自AI生成未來 ，作者：AI生成未來
原文鏈接：??https://mp.weixin.qq.com/s/b-_oWJDpNrwHjPUabMLFlg??
