英偉達發(fā)布 Eagle 2.5 視覺語言 AI 模型：8B 參數(shù)媲美 GPT-4o
IT之家消息，科技媒體 marktechpost 發(fā)布博文，報道稱英偉達最新推出 Eagle 2.5，一款專注于長上下文多模態(tài)學習的視覺-語言模型（VLM）。
該模型專注于理解大規(guī)模視頻和圖像，尤其擅長處理高分辨率圖像和長視頻序列。盡管參數(shù)規(guī)模僅為 8B，Eagle 2.5 在 Video-MME 基準測試（512 幀輸入）中得分高達 72.4%，媲美 Qwen2.5-VL-72B 和 InternVL2.5-78B 等更大規(guī)模模型。
創(chuàng)新訓練策略
Eagle 2.5 的成功離不開兩項關鍵訓練策略：信息優(yōu)先采樣（Information-First Sampling）和漸進式后訓練（Progressive Post-Training）。
信息優(yōu)先采樣通過圖像區(qū)域保留（IAP）技術，保留超過 60% 的原始圖像區(qū)域，同時減少寬高比失真；自動降級采樣（ADS）則根據(jù)上下文長度動態(tài)平衡視覺和文本輸入，確保文本完整性和視覺細節(jié)的優(yōu)化。
漸進式后訓練逐步擴展模型上下文窗口，從 32K 到 128K token，讓模型在不同輸入長度下保持穩(wěn)定性能，避免過擬合單一上下文范圍。這些策略結合 SigLIP 視覺編碼和 MLP 投影層，確保了模型在多樣化任務中的靈活性。
定制數(shù)據(jù)集
Eagle 2.5 的訓練數(shù)據(jù)管道，整合了開源資源和定制數(shù)據(jù)集 Eagle-Video-110K，該數(shù)據(jù)集專為理解長視頻設計，采用雙重標注方式。
自上而下的方法采用故事級分割，結合人類標注章節(jié)元數(shù)據(jù)、GPT-4 生成的密集描述；自下而上的方法則利用 GPT-4o 為短片段生成問答對，抓取時空細節(jié)。
通過余弦相似度（cosine similarity）篩選，數(shù)據(jù)集強調(diào)多樣性而非冗余，確保敘事連貫性和細粒度標注，顯著提升了模型在高幀數(shù)（≥128 幀）任務中的表現(xiàn)。
性能表現(xiàn)
Eagle 2.5-8B 在多項視頻和圖像理解任務中表現(xiàn)出色。在視頻基準測試中，MVBench 得分為 74.8，MLVU 為 77.6，LongVideoBench 為 66.4；在圖像基準測試中，DocVQA 得分為 94.1，ChartQA 為 87.5，InfoVQA 為 80.4。
消融研究（Ablation studies）表明，IAP 和 ADS 的移除會導致性能下降，而漸進式訓練和 Eagle-Video-110K 數(shù)據(jù)集的加入則帶來更穩(wěn)定的提升。
IT之家附上參考地址
