基于圖的 RAG 統一框架 in-depth 分析

作者：港中深與華為的研究人員

核心速覽

研究背景

研究問題：這篇文章要解決的問題是如何在統一框架下對基于圖的檢索增強生成 (RAG) 方法進行系統的比較和分析。現有的基于圖的 RAG 方法沒有在同一實驗設置下進行系統的比較。

研究難點：包括缺乏統一的框架來抽象和比較各種基于圖的 RAG 方法；現有工作主要關注整體性能評估而非單個組件的性能；以及缺乏對各種方法在準確性和效率方面的全面比較。

相關工作：涉及 RAG 技術在醫療、金融、教育等領域的廣泛應用，以及已有的基于圖的 RAG 方法（如 RAPTOR、KGP、HippoRAG 等），但這些方法缺乏系統比較和分析。

研究方法

• 圖構建：將大規模語料庫分割成多個塊，并使用 LLM 或其他工具從中提取節點和邊構建圖（如 passage graph、tree、knowledge graph、textual knowledge graph 和 rich knowledge graph）。
• 索引構建：為高效在線查詢，構建存儲圖中實體或關系的索引，并計算社區報告實現高效檢索。索引類型包括節點索引、關系索引和社區索引。
• 操作符配置：在統一框架下，任何現有的基于圖的 RAG 方法均可通過選擇特定操作符（節點、關系、塊、子圖、社區）并組合實現。
• 檢索與生成：將用戶輸入的問題轉換為檢索原語，利用選定操作符檢索信息，再與問題一起輸入 LLM 生成答案。答案生成包括直接生成和 Map-Reduce 兩種范式。

實驗設計

• 數據集：使用了 11 個真實世界數據集，如 MultihopQA、Quality、PopQA、MusiqueQA、HotpotQA、ALCE、Mix、MultihopSum、Agriculture、CS 和 Legal。
• 評估指標：對特定問題任務采用準確率和召回率；對抽象問題任務采用全面性、多樣性、賦能和總體質量等指標。
• 實現：所有算法均在 Python 中實現，并使用提出的統一框架，實驗覆蓋 350 集數據集。
• 超參數設置：對于需要 top-k 選擇的方法（如塊或實體），設置 ( k=4 ) 以適應令牌長度限制，并采用 BGE-M3 模型生成節點和關系的嵌入向量。

結果與分析

• 特定問題任務的性能：RAG 技術顯著提高了 LLM 的性能。比如，在 Quality 數據集上，RAPTOR 相較于 ZeroShot 提高了 53.80% 的準確性，但若檢索到的元素不相關則可能降低性能。

• 圖構建和索引構建的成本：構建樹的令牌成本最低，而 TKG 和 RKG 的成本最高。對于大型數據集，GraphRAG 的離線階段成本較高。

• 生成成本：ZeroShot 和 Vanilla RAG 在時間和令牌消耗方面較為經濟，而 KGP 和 ToG 由于依賴 LLM 檢索信息成本較高。

• 復雜問題任務的新 SOTA 算法：提出了 VGraphRAG，通過結合實體、關系、社區和塊四種元素有效指導 LLM 生成準確答案，在 ALCE 數據集上分別在 STRREC、STREM 和 STRHIT 上提高了 8.47%、13.18% 和 4.93%。

• 抽象問題任務的性能：基于圖的 RAG 方法通常優于 Vanilla RAG，GGraphRAG 和 RAPTOR 因在提示中加入高層次總結文本表現更佳。

• 新 SOTA 算法的成本效益：設計了成本效益更高的 CheapRAG，通過選擇最有用的社區和塊顯著減少令牌成本，在 MultihopSum 數據集上相比 GGraphRAG 降低了 100 倍令牌成本，同時提升了答案質量。

總體結論

本文對現有基于圖的 RAG 方法進行了深入實驗評估和比較，提出了一個新的統一框架覆蓋所有現有方法，并識別出關鍵性能影響因素和未來研究機會。

論文評價

優點與創新

• 統一框架：提出了一個新穎的統一框架，涵蓋所有現有基于圖的檢索增強生成 (RAG) 方法，并抽象出關鍵操作。
• 全面比較：在統一框架下系統比較了 12 種代表性方法，提供了深入分析。
• 新變體識別：結合現有技術識別出新的 RAG 方法變體，在部分任務上優于最先進方法。
• 實驗設計：在多個常用 QA 數據集上進行了全面實驗，評估不同查詢類型下的方法性能。
• 模塊化設計：模塊化設計允許各階段（圖構建、檢索、生成）獨立優化和組合，提升靈活性。
• 操作符設計：通過調整檢索階段或交換組件，便于快速測試和實施新策略，加速模型開發。
• 標準化評估：提供了標準化評估方法，確保結果可重復，促進公平基準測試，為未來創新提供支持。

論文詳情與開源代碼

• 論文詳情：https://arxiv.org/abs/2503.04338
• 代碼開源地址：https://github.com/JayLZhou/GraphRAG

本文轉載自??NLP前沿??，作者：NLP前沿