7B小模型竟超越72B巨頭勇奪SOTA，北航、字節(jié)等聯(lián)合發(fā)布長視頻理解黑科技——DATE
論文鏈接：https://arxiv.org/pdf/2509.09263
Git 鏈接：https://github.com/yuanc3/DATE
亮點直擊
- 提出了時間戳注入機制（Timestamp Injection Mechanism, TIM），該機制無需修改模型權(quán)重或進行額外訓練，即可實現(xiàn)顯式的絕對時間建模。
- 提出了時間感知相似性采樣算法（Temporally-Aware Similarity Sampling, TASS），這是一種結(jié)合語義引導字幕生成的時間正則化貪婪采樣方法，能夠在保持視頻連貫性的同時，平衡關(guān)鍵事件的采樣。
- 本方法在空間感知和事件定位方面表現(xiàn)出色，尤其適用于長達一小時的視頻場景。在 70 億參數(shù)模型上達到了SOTA性能，甚至超越了許多 720 億參數(shù)模型。此外，DATE-72B 模型也實現(xiàn)了當前最先進的性能表現(xiàn)。
圖1 DATE 與 Qwen2.5-VL 的真實示例。它顯示 12 幀的 DATE 擊敗了256 幀的Qwen2.5-VL
總結(jié)速覽
解決的問題
多模態(tài)大語言模型（MLLMs）在處理長視頻理解任務時面臨挑戰(zhàn)，尤其是在以下兩方面：
- 精確的時間推理（temporal reasoning）
- 關(guān)鍵事件定位（event localization）
現(xiàn)有方法多采用均勻幀采樣與隱式位置編碼，難以建模長距離依賴，導致時間信息丟失與理解能力下降。
提出的方案
提出一種名為 動態(tài)絕對時間增強（Dynamic Absolute Time Enhancement, DATE） 的新方法，核心包括兩個模塊：
- 時間戳注入機制（Timestamp Injection Mechanism, TIM）將文本時間戳與視頻幀嵌入交錯，引入顯式的絕對時間參考系統(tǒng)，無需修改模型結(jié)構(gòu)或重新訓練。
- 時間感知相似性采樣策略（Temporally-Aware Similarity Sampling, TASS）將視頻采樣建模為視覺語言檢索任務，通過兩階段算法選取關(guān)鍵幀，兼顧語義相關(guān)性與時間覆蓋度。
應用的技術(shù)
- 顯式時間建模：通過 TIM 引入文本時間戳，實現(xiàn)連續(xù)的時間參考；
- 兩階段視頻采樣算法：
a.階段一：將查詢擴展為描述性字幕，增強語義對齊；
b.階段二：使用相似度驅(qū)動的時間正則化貪婪采樣策略，提取關(guān)鍵事件；
- 無需額外訓練或模型改動，可直接應用于現(xiàn)有 MLLMs 架構(gòu)中。
達到的效果
- 在多項小時級長視頻基準測試中，DATE 方法在絕對時間理解與關(guān)鍵事件定位方面取得顯著提升；
- DATE-7B 模型在多個任務上超越了現(xiàn)有的 72B 模型，展現(xiàn)出卓越的參數(shù)效率；
- DATE-72B 模型在整體性能上達到當前最先進（SOTA）水平；
- 展示了在無需大模型擴展的前提下，提升長視頻多模態(tài)理解能力的可行路徑。
方法
圖2 框架總覽。對于每個用戶輸入的問題，使用基于 LLM 的字幕生成器生成與 CLIP 對齊的圖像字幕，并計算與視頻幀的相似度。然后，使用時間感知相似性采樣（TASS）策略對幀進行采樣。最后，使用時間戳注入機制 （TIM），嵌入與每個幀對齊的時間戳。
時間戳注入機制
為了增強多模態(tài)大語言模型（Multimodal Large Language Models, MLLMs）在視頻理解中的時間感知能力，特別是在需要絕對時間定位的長視頻中，本文提出了一種時間戳注入機制。該機制與模型無關(guān)，并兼容大多數(shù)主流 MLLMs。在本研究中，本文以集成顯式絕對時間編碼的 Qwen2.5-VL 作為基線方法。
Token 級別的時間戳注入
最新的開源 MLLM，Qwen2.5-VL，依賴其提出的 MRoPE（Multimodal RoPE）機制，在 MRoPE 的位置 ID 中通過時間間隔建模時間序列，從而嵌入視頻幀的絕對時間。然而，本文的實驗表明，這種方法缺乏對絕對時間的真正理解。
為了解決這一問題，本文引入了一種 token 級別的時間戳注入機制。如下圖 3 所示，對于每一幀采樣圖像，本文使用視覺 token 與時間 token 交錯的結(jié)構(gòu)構(gòu)建輸入序列：
在這里，每種顏色代表一幀的視覺 token 與時間戳的組合，<video_token> 表示視覺 token（不止一個 token），<time_token> 是其對應的文本時間戳（例如，01:23 或 83s）。這種結(jié)構(gòu)在保持視覺連續(xù)性的同時注入了精確且可控的時間參考，使語言模型能夠執(zhí)行具有時間感知能力的推理任務，如事件排序和絕對時間定位。
位置編碼重構(gòu)與順序歸一化
Qwen2.5-VL 中的 MRoPE 機制通過視覺分支中的位置索引引入絕對時間信息。盡管它在一定程度上建模了時間順序，但在應用于長視頻時存在關(guān)鍵限制，因為位置索引（ID）呈線性增長：
(1) 稀疏性與資源低效：由于位置 ID 成比例增長，較大的時間間隔（例如幀間 20 秒）會導致序列長度的低效使用，并可能引發(fā)索引爆炸（例如在一小時長的視頻中達到 10,000）；
(2) 相對位置感知能力下降：位置 ID 之間的巨大間隔會破壞 token 之間的相對距離，從而削弱對局部時間結(jié)構(gòu)的捕捉能力。
為緩解這些問題，本文移除了 Qwen2.5-VL 中 MRoPE 的絕對時間組件，僅保留原始的多模態(tài) RoPE（MRoPE）編碼。具體而言，時間維度T使用簡單的順序索引策略進行編碼，其中位置索引按照 token 的自然順序遞增。此外，為了保留視頻幀之間的空間編碼，本文確保僅時間維度T隨時間 token 的插入而擴展?？臻g編碼(H,W) 保持與第一幀對齊，從而確保整個序列中的空間一致性。
這種設(shè)計保持了 RoPE 的數(shù)值穩(wěn)定性，并保留了模型對 token 順序的敏感性。同時，絕對時間感知通過顯式的 <time_token> 獨立處理，從而實現(xiàn)了解耦且魯棒的時間表示框架。
時間感知相似性采樣（TASS）
離散化的視頻幀采樣是多模態(tài)視頻建模中的常見預處理步驟。然而，在長視頻場景中，等間距采樣策略存在明顯局限。一方面，幀之間的時間間隔可能跨越數(shù)秒到數(shù)分鐘，容易錯過稀疏但語義關(guān)鍵的時刻。另一方面，統(tǒng)一采樣與任務無關(guān)，嚴重影響關(guān)鍵事件的召回率。
直接基于相似性進行采樣會導致變化較小的幀被連續(xù)采樣，從而使視頻特征塌縮為一張圖像。如果采樣跨度過大，則會導致關(guān)鍵事件連續(xù)性喪失、物體運動難以識別等問題，即與統(tǒng)一采樣和 AKS 所面臨的問題類似。
因此，本文提出了 TASS，一種時間正則化的貪婪采樣算法，能夠同時保證關(guān)鍵事件的連續(xù)性與時間多樣性。該方法包括兩個主要階段：(i) 語義增強的相似性計算，(ii) 在時間約束下的相似性優(yōu)先采樣。
語義增強：從問題到描述
為了提升視覺-語言對齊的一致性，本文首先使用語言模型將用戶的查詢（通常是問題）轉(zhuǎn)換為更具描述性的 caption，此步驟的提示詞見附錄 E。與原始問題相比，caption 具有更具陳述性的風格，更符合 CLIP 圖文匹配的范式，能夠激活更穩(wěn)定和完整的語義表示。
偽代碼如下：
與 TASS 最相關(guān)的工作是 Tang 等人提出的 Adaptive Keyframe Selection（AKS），該方法引入了一種查詢驅(qū)動的采樣機制。然而，它存在兩個主要問題：（1）它直接將原始問題作為 CLIP 的文本輸入，與 CLIP 的標題風格不一致，因為 CLIP 是使用圖像-標題對進行訓練的，而不是問題，且由于輸入限制，容易導致語義截斷；（2）其基于方差的采樣策略容易引入誤報（即來自負片段的高分幀），因為得分變化幅度較小，并且可能錯過視覺上平滑區(qū)域中的關(guān)鍵幀。
相比之下，本文的方法通過標題重寫實現(xiàn)更好的對齊，并引入時間正則機制以確保更廣泛的時間覆蓋。這使得采樣在建模長視頻中時間分布的事件時更加穩(wěn)健和有效。
實驗
基準測試
為了全面評估本文提出的 DATE 在長視頻理解中的表現(xiàn)，本文在三個小時級別的視頻基準上進行了實驗，這些基準強調(diào)復雜的時間推理和長上下文建模：
Video-MME 是一個為通用視頻理解設(shè)計的多模態(tài)評估基準，包含 900 個視頻（總計 256 小時），涵蓋各種類別和時長，配有 2,700 個專家標注的多項選擇問答對。該數(shù)據(jù)集被劃分為短（<2 分鐘）、中（4–15 分鐘）和長（30–60 分鐘）三個子集，支持對時間可擴展性的詳細分析。
LongVideoBench 聚焦于長上下文的多模態(tài)推理。該基準包含 3,763 個最長達 1 小時的視頻和 6,678 個標注問題，涵蓋 17 個類別。該基準強調(diào)細粒度的時間檢索和局部事件推理，非常適合評估絕對時間理解能力。
LVBench 是最具挑戰(zhàn)性的長視頻理解基準之一，視頻平均長度超過 4,000 秒。它提供了 1,549 個問答對，涵蓋多個任務，如實體追蹤、時間定位和因果推理，為時間感知的視頻建模提供了全面的測試平臺。
實現(xiàn)細節(jié)
本文采用 Qwen2.5-VL（7B 和 72B）作為基礎(chǔ)模型。為確保公平比較和可復現(xiàn)性，本文使用公開發(fā)布的檢查點，并按照其官方技術(shù)報告重新評估所有基準。本文的 DATE 也遵循相同的設(shè)置。
在評估中，基礎(chǔ)模型采用統(tǒng)一的采樣率 4 FPS，分辨率設(shè)為 448（最長邊），在所有基準中最多輸入 256 幀。所有實驗均在 Nvidia A100-80G GPU 上進行。
對于本文提出的 TASS，本文使用 deepseek-v3 進行標題生成。隨后，對所有視頻以 1 FPS 的速度提取幀，并使用生成的標題計算視覺-文本相似度得分。視覺-文本相似度使用 CLIP ViT-B/32 模型計算，以實現(xiàn)語義感知的幀篩選。
主要結(jié)果
與當前最先進方法的比較 本文將提出的方法 DATE 與多個當前最先進的閉源和開源視頻多模態(tài)大模型（MLLMs）在多個長視頻基準上進行了比較，結(jié)果如下表 1 所示。
此外，本文的方法（256 幀）甚至在 LongVideoBench 和 LVBench 上超越了 Qwen2.5-VL-72B（768 幀）模型。
這些提升表明 DATE 擁有更強的時間建模能力，尤其在處理極長視頻時表現(xiàn)出色。結(jié)果表明本文的方法能夠有效注入時間線索，幫助模型聚焦于語義上重要的時刻，從而實現(xiàn)更穩(wěn)健的長距離推理。
與事件感知任務的比較
為了更好地理解 DATE 在建模時間和事件中心信息方面的優(yōu)勢，本文在 Video-MME、LVBench 和 LongVideoBench 的細粒度子任務上進行了詳細比較，如下圖 5 所示。
精準事件定位能力
本文的 DATE 在準確事件定位方面表現(xiàn)出顯著優(yōu)勢。如下圖 1 所示，DATE 即使只使用 12 幀，也能準確識別事件發(fā)生的具體時間點，甚至如采樣圖中標注的采樣順序所示，僅用一幀也能準確采樣關(guān)鍵時間點。
而基線模型即使在 256 幀下仍表現(xiàn)出明顯偏差。這驗證了本文提出的時間建模和語義驅(qū)動采樣策略在長視頻理解中的有效性與魯棒性。下圖 4 也展示了基準中的一些案例。
消融實驗
本文進行了全面的消融實驗，以評估 DATE 中的兩個核心組件：時間戳注入機制（Timestamp Injection Mechanism, TIM）和時間感知相似性采樣（Temporal-Aware Similarity Sampling, TASS），實驗在 Video-MME、LongVideoBench 和 LVBench 上進行，結(jié)果見下表 2。
為了進一步分析本文采樣方法的有效性與效率，本文將 TASS 與 CVPR’25 提出的最新方法 Adaptive Keyframe Selection（AKS）在不同幀率（從 16 到 256）下進行了比較。如下表 3 所示，TASS 在幾乎所有幀數(shù)設(shè)置下均優(yōu)于 AKS，特別是在較低幀數(shù)下（例如在 16 幀時提升了 +6.0%），同時在相同設(shè)備（Intel Xeon Platinum 8336C（2×32 核，2.3 GHz）CPU）上實現(xiàn)了相當甚至更快的采樣時間。
這些結(jié)果突出了本文采樣設(shè)計的效率與有效性。此外，TIM 一貫優(yōu)于簡單的“timestamp-in-prompt”方法，表明將時間線索直接嵌入 token 空間比依賴隱式提示描述更能有效地將時間感知注入多模態(tài)大模型中。
TIM 注意力分析
為了研究時間信息對視頻理解的影響，本文可視化了基線模型與帶有時間戳 token 的 TIM 的注意力圖。該實驗基于上圖 1 中的問題進行，輸入為 12 幀視頻。由于 Qwen2.5-vl 每 2 幀合并一次，共嵌入 6 個時間戳 token。
如下圖 6（左）所示，基線模型表現(xiàn)出相對分散的注意力模式，表明模型主要依賴于序列中的基于內(nèi)容的相似性。相比之下，DATE 的注意力圖（下圖 6，右）顯示出明顯不同的模式。值得注意的是，與時間戳對應的視頻 token 獲得了顯著更高的注意力，說明時間戳 token 起到了時間錨點的作用，使模型能夠?qū)⑻囟〞r刻與更廣泛的視頻內(nèi)容關(guān)聯(lián)起來。
此外，時間戳 token 引入的顯式時間線索似乎提升了模型定位幀信息的能力。通過為整個序列的內(nèi)容聚合提供一個時間參考框架，模型增強了對單個視頻片段的上下文理解。
超參數(shù)分析
結(jié)論
DATE，旨在增強多模態(tài)大語言模型（MLLMs）對長視頻中的絕對時間理解與事件定位能力。通過時間戳 token 注入機制（TIM）與語義驅(qū)動的關(guān)鍵事件采樣策略（TASS），本文方法在不修改模型權(quán)重的情況下，構(gòu)建了一個顯式且連續(xù)的時間坐標系統(tǒng)。
在多個長視頻基準上的大量實驗表明，DATE 顯著提升了模型識別與對齊時間相關(guān)事件的能力。本文的發(fā)現(xiàn)強調(diào)了精準時間建模在長視頻理解中的重要性，并為預訓練 MLLMs 的高效推理時增強開辟了新方向。
本文轉(zhuǎn)自AI生成未來 ，作者：AI生成未來
