Advanced RAG 10：引入檢索評估、知識精練的 CRAG 技術詳解原創精華

發布于 2024-7-10 10:13

瀏覽

0收藏

編者按：本文介紹的 CRAG 技術通過引入輕量級檢索評估機制和知識精煉算法，試圖解決傳統檢索增強生成（RAG）方法在處理復雜查詢語句時存在的問題（包括檢索結果不夠精確、引入無關信息等），這些問題會影響模型回答的質量。
CRAG 技術如何評估檢索文檔與用戶查詢之間的相關性？檢索評估器的具體工作原理是什么？CRAG的知識精煉算法是如何工作的？它如何確保在“細分再整合”的過程中不會丟失重要信息？如若您現在對這些問題充滿好奇，期望本文能夠為您解答清楚。
文章通過生動的類比、詳細的技術闡述和實際的代碼示例，全面展現了 CRAG 的工作原理和實現方法。同時，本文作者還深入探討、比較了 CRAG 與其他先進 RAG 技術的區別，并對該技術的未來優化方向給出了自己的看法。
期待 CRAG 能夠在各種復雜的信息檢索和知識生成場景中發揮重要作用，也期望各位讀者能夠通過閱讀本文有所收獲。

作者 | Florian June

編譯 | 岳揚

這篇文章繼續從一個我們熟悉的生活場景講起 —— 開卷考試。面對這樣的考試，我們通常有三種應對策略可供選擇：

第一種方法：迅速作答熟悉的題目。遇到不熟悉的題目，則翻閱教科書。快速找到相關章節，心中整理并歸納其要點，然后在試卷上寫下答案。
第二種方法：對于每一道題，都翻書查找。鎖定相關章節，在心中提煉要點，再將答案寫在試卷上。
第三種方法：對于每一道題，都先查閱書籍找出相關章節。在形成自己的觀點前，將搜集到的信息分類為三類：正確、錯誤和不確定。針對不同類型的信息采取不同的處理方式。隨后，依據這些經過篩選的信息，在心中整合并提煉出答案。最后將答案寫在試卷上。

第一種方法就像本系列第八篇文章介紹的 self-RAG 技術，而第二種則是傳統的 RAG 技術。

最后，將在本文中介紹第三種方法，即 Corrective Retrieval Augmented Generation（CRAG）。

01 為什么會出現 CRAG 技術？

Advanced RAG 10：引入檢索評估、知識精練的 CRAG 技術詳解-AI.x社區

圖 1：這些例子表明，低效的檢索器（retriever）容易引入大量無關的信息，會阻礙生成器（generators）獲取準確的知識，甚至可能將其引入歧途。資料來源：Corrective Retrieval Augmented Generation[1]

圖 1 指出了傳統 RAG 方法存在的一個問題：大多數傳統的 RAG 方法會忽視文檔內容與用戶問題之間的相關性，只是簡單地把檢索到的文檔拼接在一起。這種做法可能導致無關信息的混入，不僅妨礙模型獲取準確的知識，還可能誤導模型，從而引發幻覺問題。

此外，大多數傳統 RAG 方法都是將檢索到的整篇文檔傳遞給大模型。 然而，這些文檔中的大部分內容實際上對模型響應的生成過程并沒有實質性的幫助，不應該被無差別地傳遞給大模型。

02 CRAG 的核心理念

CRAG 構思了一種輕量級的檢索評估機制，可用于評判針對特定用戶請求所獲取文檔的總體品質，并創造性地運用網絡搜索（web search）技術，以此增強檢索結果的準確性。

CRAG 具備出色的兼容性，即插即用，能夠輕松融入各種基于 RAG 的策略體系，其整體框架如圖 2 所示。

Advanced RAG 10：引入檢索評估、知識精練的 CRAG 技術詳解-AI.x社區

圖 2：CRAG（紅色虛線框標記）在 RAG 架構中的定位。其巧妙地引入檢索評估模塊，可用于評估檢索文檔與用戶需求的相關性，并據此估計可信度（confidence level），進而觸發三類不同的知識檢索策略，即 {正確、錯誤、不確定} 。其中，“x”代表用戶的查詢請求。該圖由作者原創，CRAG 部分（紅色虛線框標記）取自《Corrective Retrieval Augmented Generation》[1]

如圖 2 所示，CRAG 通過引入檢索評估器（retrieval evaluator） 改進傳統 RAG 方法，能夠更精準地衡量檢索文檔與查詢指令間的相關度。

存在三種可能的判定結果：

若判定為“正確”，表示檢索出的文檔包含了回答用戶查詢需要的關鍵信息，此時可以啟用知識精煉算法（knowledge refinement algorithm），對文檔內容進行重寫優化。
若判定為“錯誤”，則意味著用戶查詢與檢索出的文檔完全不相關。因此，我們不能將這類文檔發送給大語言模型（LLM）進行處理。在 CRAG 技術方案中，會使用網絡搜索引擎來檢索更多外部知識。
若判定為“不確定”，表明檢索出的文檔雖與需求相去不遠，但尚不足以直接給出答案。這時，就需要通過網絡搜索來補充缺失信息。因此，既要運用知識精煉算法，又需要搜索引擎的助力。

最后，經過一系列加工處理的信息會被轉發給大語言模型（LLM），以便生成最終的模型響應。圖 3 詳細描述了這一過程。

Advanced RAG 10：引入檢索評估、知識精練的 CRAG 技術詳解-AI.x社區

圖 3：評估與處理步驟，摘選自《Corrective Retrieval Augmented Generation》一文

請注意，網絡搜索技術（web search）并非直接使用用戶的原始輸入進行搜索。相反，該技術會先構建一個引導性提示詞（prompt），然后給出少量示例（few-shot），將其發送給GPT-3.5 Turbo，借此獲取更精準的搜索查詢語句。

在對整個處理流程有了一定的了解后，接下來我們將聚焦于 CRAG 體系中的兩大核心模塊 —— 檢索評估機制（retrieval evaluator）與知識精煉算法（knowledge refinement algorithm），逐一展開深入探討。

2.1 檢索評估機制（retrieval evaluator）

如圖 4 所示，檢索評估器對后續環節的成效具有深遠影響，其對整體系統性能的影響較大。

Advanced RAG 10：引入檢索評估、知識精練的 CRAG 技術詳解-AI.x社區

圖 4：CRAG 的知識修正（Knowledge correction）流程。Source: Corrective Retrieval Augmented Generation[1]

CRAG 采用一個經過微調的 T5-large 模型作為檢索評估器（retrieval evaluator），在如今這個大語言模型時代，T5-large[2] 也被視為輕量級的語言模型。

對于每個特定的用戶查詢，系統通常會提取約十篇文獻資料。緊接著，將用戶查詢內容與每篇文獻逐一結合，形成模型輸入，然后評估它們的相關度（relevance）。在模型微調過程中，positive samples 會被打上標簽“1”，而 negative samples 的則標注為“-1”。到了模型推理階段，評估器會為每篇文檔計算一個相關性分數，數值區間在 -1 至 1 之間。

這些相關性分數依據特定閾值將被劃分為三大類別。劃分類別這一操作需要界定兩個不同的閾值界限。CRAG 系統中的閾值配置靈活性較高，可根據實驗數據的具體情況調整設定：

為了決定這三種判定結果的判定方法，我們根據經驗確定了兩組可信度閾值（confidence thresholds）。它們在不同數據集中的具體數值如下：PopQA 數據集的閾值為(0.59, -0.99)，PubQA 和 ArcChallenge 數據集的閾值是(0.5, -0.91)，而在 Biography 數據集中，閾值則被設定為(0.95, -0.91)。

2.2 知識精煉算法（knowledge refinement algorithm）

CRAG 針對檢索到的相關文檔，創新性地采取了一種 “細分再整合” 的策略來深度挖掘最核心的知識信息，此過程如圖 4 所示。

第一步依賴于一套啟發式規則，將每篇文檔分解為多個細粒度的知識點，以便挖掘更加精確的信息。 如果檢索到的文檔只有一兩句話，則應將其視作一個獨立的信息單元；而對于篇幅較長的文檔，則依據其總長度，靈活切分為由數個句子組成的多個更小單元，確保每個小單元都封裝一條獨立完整的信息。

隨后，借助檢索評估機制，計算每一個細分知識點的相關性得分，濾除相關性得分較低的部分。然后余下的高相關性知識點經過重組，形成內部知識庫（internal knowledge）。

03 Code Explanation 代碼解讀

CRAG 是一種開源技術，Langchain 和 LlamaIndex 這兩大平臺都支持并實現了這種技術。在此我們將以 LlamaIndex 的實現版本為藍本進行詳細解析。

3.1 環境配置

Advanced RAG 10：引入檢索評估、知識精練的 CRAG 技術詳解-AI.x社區

安裝完成后，LlamaIndex 和 Tavily 的相應版本如下：

Advanced RAG 10：引入檢索評估、知識精練的 CRAG 技術詳解-AI.x社區

3.2 測試代碼

測試代碼如下。第一次運行需要下載CorrectiveRAGPack。

Advanced RAG 10：引入檢索評估、知識精練的 CRAG 技術詳解-AI.x社區

其中 YOUR_TAVILYAI_API_KEY 可通過此網站[3]申請。

測試代碼的運行結果如下（大部分調試信息已被刪除）：

Advanced RAG 10：引入檢索評估、知識精練的 CRAG 技術詳解-AI.x社區

要了解測試代碼，需要深入剖析 corrective_rag.run() 方法的實現細節，接下來讓我們一探究竟。

3.3 類 CorrectiveRAGPack 的構造函數

首先我們來看看該構造函數，其源代碼[4]如下：

Advanced RAG 10：引入檢索評估、知識精練的 CRAG 技術詳解-AI.x社區

請注意，系統默認配置采用的是 gpt-4 模型。若您不具備使用 gpt-4 的權限，可將其手動調整為 gpt-3.5-turbo 或其他大模型的 API。

3.4 class CorrectiveRAGPack:: run()

函數 run() 的源代碼[5]如下所示：

Advanced RAG 10：引入檢索評估、知識精練的 CRAG 技術詳解-AI.x社區

上述代碼與 CRAG 的標準流程相比，有三點顯著不同之處：

未涉及對模棱兩可的“不確定”文檔的辨識與特別處理。
在評估檢索信息時，并未采用預訓練的 T5-large 模型，而是轉而利用 LLM（大語言模型）進行評估。
省略了知識精煉（knowledge refinement）這一步驟。

盡管如此，LlamaIndex 還是引入了另一種方法論（langchain 亦有類似實踐），為此類任務的處理提供了另外一種思考路徑。

3.5 使用 LLM 評估檢索到的信息

具體代碼[6]如下：

Advanced RAG 10：引入檢索評估、知識精練的 CRAG 技術詳解-AI.x社區

調用 LLM 的提示詞[7]如下所示：

Advanced RAG 10：引入檢索評估、知識精練的 CRAG 技術詳解-AI.x社區

根據 CRAG 論文的內容展示，ChatGPT 在評估檢索內容相關性上的性能不及 T5-Large 模型。

而在實際項目中，我們完全能夠使用初始的知識精練算法（knowledge refinement algorithm）。相應的代碼實現，您可以在此鏈接[8]獲取。

3.6 重寫用于搜索的查詢語句 Rewrite query for search

網絡搜索功能（web search）并未直接采用用戶輸入的查詢語句。而是通過一種“小樣本（few-shot）”策略，精心構造一個引導性提示詞，提交給 GPT-3.5 Turbo 模型，借此生成更適配的搜索請求。該引導性提示詞的構造方法如下所示：

Advanced RAG 10：引入檢索評估、知識精練的 CRAG 技術詳解-AI.x社區

04 作者對 CRAG 的見解和思考

4.1 CRAG 與 self-RAG 的區別

從操作流程來看，self-RAG 能夠跳過檢索步驟，直接借助大語言模型（LLM）給出答案，但對比之下， CRAG 在作出回應前，必須先完成信息檢索，并加入額外的評估環節。
從系統架構角度分析，self-RAG 的構造更為精細，其背后是更為復雜的訓練機制，以及生成階段中多次迭代的標簽生成（label generation）與評估（evaluation）流程，這一特點導致其推理成本相對較高。因此，CRAG 比 selfRAG 更加輕量化。
談及其性能表現，如圖 5 所示，在大多數應用場景中，CRAG 的性能普遍優于 self-RAG。

Advanced RAG 10：引入檢索評估、知識精練的 CRAG 技術詳解-AI.x社區

圖 5：四大數據集相關測試集上的全面評估結果。這些結果依據不同的 LLM 分類展示。其中，加粗數值表示所有方法和 LLM 中的最優表現；而灰色的加粗數值，則表示特定 LLM 的最佳性能。標注星號(*)的內容是通過 CRAG 重新驗證得到的結果，其余結果均直接引述自相關研究文獻。Source: 《Corrective Retrieval Augmented Generation》

4.2 對檢索評估器的進一步改進

檢索評估器可以看作是一個評估分數分類模型，它負責評估查詢語句和文檔之間的相關性，作用近似于 RAG 系統中的重排模型（re-ranking model）。

為了提升這類相關性判斷模型（relevance judgement models）的實用性，可以集成更多貼近實際場景的特性。比如，在科研論文的問答 RAG 場景中，會有大量專業詞匯；而在旅游領域的 RAG 場景下，則更多的是日常交流式的用戶提問。

通過向檢索評估器的訓練數據中融入場景特征（scene features），能有效增強其評估文檔相關性的能力。此外，還可以引入用戶意圖（user intentions）、文本差異度（edit distance）等因素作為輔助特征，如圖 6 所示：

Advanced RAG 10：引入檢索評估、知識精練的 CRAG 技術詳解-AI.x社區

圖 6: 通過整合更多額外特征，CRAG系統中檢索評估器的訓練效能進一步提升。圖片由作者提供。

另外，從 T5-Large 模型取得的成效來看，輕量級模型似乎也能取得不錯的效果，這無疑為 CRAG 技術在規模較小的團隊或公司中的推廣與應用帶來了希望。

4.3 檢索評估器的評分標準與閾值設定

如前文所述，不同類型的數據其閾值各有不同。值得注意的是，“不確定”及“不正確”類別閾值普遍趨近于 -0.9 ，這表明大部分檢索到的信息仍與查詢語句具有一定相關性。因此，完全摒棄這些檢索到的知識，轉而純依賴網頁搜索或許并非明智之舉。

針對實際應用場景，需緊密貼合具體問題情景與實際需求進行靈活調整。

05 Conclusion

本文從一個生動實例入手，逐步概述 CRAG 的核心流程，并輔以代碼解析，其間穿插個人的見解與深度思考。

綜上所述，CRAG 作為一個即插即用的插件，可以大幅度提高 RAG 的性能表現，為 RAG 的改進提供了一個輕量級解決方案。

若您對 RAG 技術感興趣，敬請閱讀本系列其他文章。

Thanks for reading!

Florian June

AI researcher, focusing on LLMs, RAG, Agent, Document AI, Data Structures. Find the newest article in my newsletter: ??https://florianjune.substack.com/??

END