論文筆記分享，標題：Astute RAG: Overcoming Imperfect Retrieval Augmentation and Knowledge Conflicts for Large Language Models，來自google cloud

在RAG的時候，再好的recall + rerank + 篩選策略，都會出現知識沖突，或query無關的候選知識的情況。文中稱這種現象為“不完美檢索”。

通常，當檢索精度不低于 20%時，RAG 是有幫助的。當檢索精度接近 0 時，帶有 RAG 的模型的表現要比沒有 RAG 的模型差。添加更多的檢索段落并不一定導致更好的性能，因為額外的段落可能會降低檢索精度。

核心流程如下圖，分為3大步：

1. 通過特定的prompt，引導LLMs生成準確、相關且無幻覺的問題相關的文本片段。設定最大的片段數量，所以LLMs可以自適應地決定生成多少文段，并在內部知識中沒有更多可靠信息時停止生成。
2. 將1生成的知識和2的知識結合導一起，每個文檔段會表示元信息（來源），用于評估該片段的可靠性。通過迭代，讓LLMs來識別哪些段落一致，分成一組一組的，過濾不相干的信息，哪些組之間是沖突沖突的。
3. 基于每一組不沖突的文檔塊集合，生成一個答案，最后會讓LLM綜合來源，得到最可靠的一個答案。

其中步驟2可以迭代多次。總體上可以獲得不錯的提升。

一個示例如下：圖片wx翻譯

3個步驟都是prompt來完成，wx圖片翻譯的prompt如下，僅供參考

本文轉載自 ??NLP前沿??，作者： 熱愛AI的