開源多模態RAG的視覺文檔(OCR-Free)檢索增強生成方案-VDocRAG 原創
下面來看一個新的RAG框架VDocRAG，用于解決視覺文檔問答問題。
視覺文檔問答概述
OpenDocVQA任務的目標是給定一個文檔圖像集合和一個問題，通過找到相關的文檔圖像來輸出答案。任務分為兩個階段：
- 視覺文檔檢索（Visual Document Retrieval）：
- 文檔視覺問答（DocumentVQA）：
方法架構
VDocRAG由兩個主要組件組成：VDocRetriever和VDocGenerator，下面來看看這兩個組件。
VDocRetriever（檢索器）
VDocRetriever基于LVLM的雙編碼器架構，用于檢索與查詢問題相關的文檔圖像。
- 動態高分辨率圖像編碼：使用動態裁剪將高分辨率圖像分割成較小的patch，每個patch大小為 336X336 像素。將這些patch作為單獨的輸入傳遞給圖像編碼器，并將其轉換為視覺文檔特征 Zd。
- 編碼過程：在VDocRetriever中，問題和視覺文檔特征被獨立編碼。在問題的末尾添加一個 <EOS>（End of Sequence）標記，并將其與視覺文檔特征一起輸入到LVLM中。通過取最后一個 <EOS> 向量來獲得問題和視覺文檔的嵌入 Hq和 Hd。
- 相似度計算：使用最大內積搜索計算問題和視覺文檔嵌入之間的相似度分數：
- 檢索過程：根據相似度分數檢索與問題最相關的 k 個文檔。
VDocGenerator（生成器）
VDocGenerator使用VDocRetriever檢索到的文檔圖像來生成答案。
- 編碼過程：編碼檢索結果后，將問題和編碼后的結果連接起來，并將其輸入到LVLM中。
- 生成過程：LVLM根據輸入生成答案。
自監督預訓練
預訓練的目標是遷移 LVLM 強大的理解和生成能力，以促進其在視覺文檔檢索中的應用。為此，提出了兩個新的自監督預訓練任務，將整個圖像表示壓縮為輸入圖像末尾的 EOS 令牌。我們的預訓練過程傳遞文檔圖像，并將其提取的 OCR 文本用作偽目標。完整的預訓練目標定義為損失之和，如下所示。
通過檢索進行表示壓縮 (RCR)
使用對比學習任務通過檢索與OCR文本相關的圖像來壓縮圖像表示。構建正樣本OCR文本-圖像對，并使用InfoNCE損失函數計算對比損失：
通過生成進行表示壓縮 (RCG)
使用自定義的注意力掩碼矩陣來利用LVLM的生成能力。對圖像標記的表示進行掩碼，僅允許 <EOS> 標記和前面的OCR標記的注意力。通過標準自回歸過程獲取圖像標記的表示，并將它們壓縮到 <EOS> 標記中。定義損失函數：
其中 yi 表示OCR的第 i 個標記。
實驗表現
檢索結果
VDocRetriever 在未見數據集 ChartQA 和 SlideVQA 上表現出卓越的零樣本泛化能力，優于現成的文本檢索器和最先進的視覺文檔檢索模型。
RAG 結果
即使所有模型都采用相同的初始化，VDocRAG 在 DocumentVQA 任務上的表現也明顯優于閉卷 LLM 和基于文本的 RAG。
VDocRAG 在理解布局和可視化內容（例如表格、圖表、圖形和示意圖）方面展現出顯著的性能優勢。這些發現凸顯了將文檔表示為圖像對于提升 RAG 框架性能的關鍵作用。
參考文獻：https://arxiv.org/abs/2504.09795，VDocRAG: Retrieval-Augmented Generation over Visually-Rich Documents
code：https://github.com/nttmdlab-nlp/VDocRAG
公眾號大模型自然語言處理 作者：余俊暉
原文鏈接：??https://mp.weixin.qq.com/s/E4R4qDcWkwXrdao3x4v4YA???
