M3DocRAG：文檔問答用哪個多模態大模型效果最好？
1. 文檔視覺問答現狀
文檔視覺問答（DocVQA）是通過解讀文檔圖像所含信息來回答文本問題的多模態任務。精準高效地回答眾多冗長且布局繁雜的文檔中的問題，會給金融、醫療保健和法律等諸多領域帶來極大益處，在這些領域，文檔AI助手能夠簡化大量文檔的日常處理，提升生產力，助力更快、更明智的決策。
現有的DocVQA任務，主要有以下兩種方案：
? 1.聚焦于單頁文檔的視覺問答，如下圖。
圖片
? 2.從文檔中提取文本（比如OCR或PDF文本提取）并運用檢索增強生成（RAG），即檢索模型找出相關段落，語言模型依據段落回答問題（如下圖）。
圖片
但是，這兩類方案在真實文檔理解場景中運用存在以下兩方面問題：
? 問題往往需要跨越不同頁面或文檔的信息，現有的VQA方法難以處理眾多長文檔；
? 部分文檔具有復雜的視覺格式，像表格、圖表和混合布局，可諸如OCR這類的文本提取方法會忽略這些細微之處，致使文檔解讀不完整或不準確。
2. 什么是M3DOCRAG？
為了突破以上DocVQA方法的局限性，作者推出了M3DOCRAG（Multi-modal Multi-page Multi-DocumentVisual Question Answering，多模態多頁多文檔檢索增強生成）：一個新的多模態RAG框架，能夠靈活適應各類文檔情境（封閉域和開放域）、問題跳轉（單跳和多跳）以及內容形式（文本、圖表、圖形等）。
圖片
如上圖，M3DOCRAG框架借助多模態檢索模型檢索相關文檔頁面，并利用多模態語言模型（MLM）從檢索到的頁面生成問題答案。
M3DOCRAG分三個階段運作：
? 文檔嵌入階段：把所有文檔頁面轉為RGB圖像，并從頁面圖像中提取視覺嵌入（例如 ColPali）。
? 頁面檢索階段：用文本查詢檢索相似度高的前K個頁面。對于開放域設置，創建近似頁面索引，比如倒排文件索引（IVF），以加快搜索速度。
? 問答階段：使用MLM進行視覺問答以獲取最終答案。也請參考圖3了解框架的詳細情況。M3DOCRAG能夠靈活處理封閉域（單個文檔）和開放域（大量文檔的語料庫）設置中的DocVQA。
圖片
2.1. 文檔嵌入（Document Embedding）
在 M3DOCRAG 中，文本查詢與頁面圖像通過 ColPali 投射至一個共享的多模態嵌入空間。將文本和圖像輸入編碼為統一的向量表示，并檢索出前 K 個最相關的圖像。
為提升效率，對文檔的每個頁面進行獨立處理。使得能夠將文檔語料庫中的所有頁面展平為一個單頁級嵌入張量。
M3DOCRAG 能夠靈活適應不同的檢索設置，比如單頁文檔、含多個頁面的單個文檔以及大型多頁文檔語料庫。
2.2. 頁面檢索（Page Retrieval）
查詢Q與頁面P之間的相關性通過 MaxSim 分數來計算。
開放域頁面檢索的近似索引：在大型文檔語料庫中搜索頁面往往耗時且計算成本高。當期望更快的搜索速度時，基于 Faiss 離線創建頁面索引，通過應用近似最近鄰搜索。
封閉域頁面檢索：采用精確搜索，在開放域設置中使用倒排文件索引（IVF）（Faiss 中的 IVFFlat），在搜索 40K 個頁面時，能將頁面檢索延遲從 20 秒/查詢降低至不到 2 秒/查詢。
2.3. 問答
將文本查詢Q和檢索到的頁面圖像P提供給多模態語言模型，以實現視覺問答并獲取最終答案。
為此，運用多模態語言模型（比如 Qwen2-VL ），其包含視覺編碼器和語言模型 LM 。
視覺編碼器把檢索到的K個頁面圖像當作輸入，輸出視覺嵌入（與 ColPali 編碼器的輸出有別）。語言模型把查詢Q的視覺嵌入和文本嵌入當作輸入，以自回歸的方式輸出最終答案。
3. 效果如何?
3.1 開放領域文檔視覺問答
圖片
上圖展示了M3DOCVQA的評估結果：多模態 RAG 比文本 RAG 表現更出色，尤其是在非文本證據來源方面。
M3DOC RAG（ColPauli + Qven2-VL 7B）在所有不同的證據模式/問題跳轉/# 頁面上，都大幅領先于文本 RAG（ColBERT v2 + Llama 3.1 8B）。
當證據包含圖像時，性能差距尤為顯著，表明 M3DOCRAG 解決了純文本管道在處理非文本內容時的信息丟失問題。
為文本 RAG 和 M3DOC RAG 提供更多檢索到的頁面作為上下文，通常會提升其性能（使用前 4 頁比前 1 頁和 2 頁的性能更高）。
3.2. 封閉域文檔視覺問答
圖片
上表展示了封閉域文檔VQA的評估結果，涵蓋五種證據源模態（文本（TXT）、布局（LAY）、圖表（CHA）、表格（TAB）和圖像（IMG））以及三種證據位置（單頁（SIN）、跨頁（MUL）和無法回答（UNA））的綜合準確率（ACC）。
多模態 RAG 增強了 MLM 對長文檔的理解能力。在 MM Long Bench-Doc 中，模型需處理每個問題所對應的長 PDF 文檔（多達 120 頁）。鑒于許多多模態 LM 的上下文長度有限，采用了一種拼接策略，將所有截圖頁面組合成 1 個或 5 個圖像，并將這些拼接后的圖像輸入到多模態 LM 中。
結果表明：
? ColPali + Idefics2 超越了不含 RAG 的 Idefics2 以及之前所有的多模態條目。
? VolPauli + QWP2–VL 7B 在整體 F1 和大多數證據模態/頁面設置中斬獲最佳分數。多模態檢索在處理多頁時相較于通過拼接低分辨率圖像更為有效。
? 為文本 RAG 和 M3DOC RAG 提供更多檢索頁面作為上下文通常會提升性能（使用前 4 頁比前 1 頁性能更優）。
圖片
? M3DOC RAG 在 MP-DocVQA 中達到了頂尖水平。在 MP-DocVQA 中，模型必須針對每個問題處理多達 20 頁的 PDF 文檔。
? 雖然文本 RAG（ColBERT v2 + Llama 3.1）遜于現有方法，但所有多模態 RAG 管道均優于其基于文本的對應項。
? M3DOC RAG 管道（ColPali + Qwen2-VL 7B）在 MP-DocVQA 上取得了領先成果。
3.3. 額外分析
3.3.1 不同頁面索引的速度與準確性
圖片
對 ColPali+Qwen2-VL 7B 管道采用不同文檔嵌入索引方法時的速度和準確性進行了分析。
雖說采用精確搜索的樸素索引（FlatIP）速度較慢（每個查詢 21 秒），但像倒排文件（IVFFlat）和乘積量化（IVFPQ）這類近似索引，既能保留大部分準確性，又能大幅提升搜索速度（每個查詢<2 秒）。
M3DOCRAG 默認使用 FlatIP + IVFFlat 索引，用戶可依據部署需求選擇適宜的索引方法。
3.3.2 不同的多模態語言模型
圖片
對四種不同的多模態語言模型進行了比較，分別是 Idefics2 8B、Idefics3 8B、InternVL2 8B 和 Qwen2-VL 7B 。
Qwen2-VL 7B 模型在所有三項基準測試中均優于其他多模態語言模型。所以，將其作為默認的多模態語言模型組件。
3.3.3 不同的多模態檢索模型
圖片
對兩種不同的多模態檢索模型加以比較，即 ColPali v1 和 ColQwen v0.1。這兩個模型均以相同的訓練目標進行訓練，但分別以不同的多模態語言模型架構進行初始化，即 PaliGemma 2B 和 Qwen2-VL 2B 。
ColPali 表現顯著更優，而 ColQwen 在 MPDocVQA 和 MM Long Bench-Doc 中的表現略好。因此，將 ColPali 作為默認的檢索模型。
本文轉載自??大語言模型論文跟蹤??，作者：HuggingAGI
