先說結論：這篇文章的方法和前面介紹的兩個多模態(tài)RAG的工作非常相似，可以看看往期介紹：

• ??【RAG&多模態(tài)】多模態(tài)RAG-ColPali：使用視覺語言模型實現(xiàn)高效的文檔檢索??
• ??【RAG&多模態(tài)】多模態(tài)RAG-VisRAG：基于視覺的檢索增強生成在多模態(tài)文檔上的應用??

M3DOCRAG同樣也指出，現(xiàn)有的方法要么專注于單頁文檔的多模態(tài)語言模型，要么依賴于基于文本的RAG方法，這些方法使用OCR等文本提取工具。然而，這些方法在實際應用中存在困難，例如問題通常需要跨不同頁面或文檔的信息，而MLMs無法處理長文檔；并且，文檔中重要的視覺元素（如圖、表等）往往被文本提取工具忽略。

M3DoCRAG和以往方法對比

注：文章代碼和數(shù)據(jù)集暫未開源，但都是使用ColPali和qwen2-vl實現(xiàn)，筆者在前面文檔也恰好實踐了一個簡單的RAG-ColPali，供參考：

??【多模態(tài)&RAG】多模態(tài)RAG ColPali實踐??

方法

• 文檔嵌入：和RAG-ColPali很相似，文檔嵌入使用ColPali將所有文檔頁面轉換為RGB圖像，并從頁面圖像中提取視覺嵌入。（ColPali是一種基于后期交互機制的多模態(tài)檢索模型，它將文本和圖像輸入編碼為統(tǒng)一的向量表示，并檢索最相關的圖像。其原理可以看看往期對ColPali的介紹《??ColPali??》）

M3DOCRAG流程

• 頁面檢索：也和RAG-ColPali使用的方法相似，也是使用MaxSim分數(shù)計算查詢與頁面之間的相關性，并檢索與文本查詢top-K個頁面。
• 答案生成：使用多模態(tài)語言模型（MLM）對檢索到的頁面圖像進行視覺問答，以獲得最終答案。該方法使用的是qwen2-vl-7b

數(shù)據(jù)集

M3DocVQA包含3,368個PDF文檔，總計41,005頁，涵蓋開放域和封閉域的DocVQA任務。

M3DocVQA與現(xiàn)有DocVQA數(shù)據(jù)集對比

M3DocVQA中PDF集合的示意圖

實驗結果

參考文獻

??https://arxiv.org/pdf/2411.04952v1??

本文轉載自公眾號大模型自然語言處理  作者：余俊暉

原文鏈接：??https://mp.weixin.qq.com/s/Fpbw_IuuTlW6g0HyAgdJJw??