文章指出，傳統(tǒng)RAG通過向量檢索排序召回與Query相關(guān)的片段，通過prompt生成回復(fù)，LLMs與檢索器之間存在語義鴻溝（LLMs難以有效利用檢索器提供的信息）。下面來看看這篇文章引入檢索信息增強(qiáng)RAG性能的trick。

RAG和的比較。采用可訓(xùn)練的-Former來彌合檢索器和LLM之間的語義鴻溝

方法

模型架構(gòu)

檢索特征提取

這樣存在一個問題，這些表示不能直接使用，因?yàn)閱我坏谋硎緹o法捕捉到用于LLM生成的交互特征。

因此，為了適應(yīng)各種檢索器，需要將不同空間中的表示轉(zhuǎn)換為統(tǒng)一格式的特征。提出三種相似計算方法來對這些表示進(jìn)行對齊，從而得到檢索特征。

檢索感知提示

步驟：

這一模塊主要是將檢索信息作為額外的知識輸入，增強(qiáng)了 LLM 對文檔的理解能力。

訓(xùn)練策略

主要是訓(xùn)練 -Former 和 LLM 的對齊訓(xùn)練。

實(shí)驗(yàn)

參考文獻(xiàn)

• ??https://arxiv.org/pdf/2406.13249v2??

本文轉(zhuǎn)載自公眾號大模型自然語言處理  作者：余俊暉

原文鏈接：??https://mp.weixin.qq.com/s/18AO7DTEFeMMlOv2po9dmA??