支付寶搜索中基于LLM的生成式檢索幻覺緩解技術(shù)方案 原創(chuàng)
基于LLM的生成式檢索（GR）在進(jìn)行文檔知識(shí)檢索時(shí)或多或少的會(huì)引入幻覺，在一些對(duì)精度要求比較高的場(chǎng)景（如：金融等）如何緩解幻覺，下面來看下支付寶生成式檢索緩解幻覺方案，供參考。
方法
技術(shù)框架
如上圖所示，框架分為兩部分：知識(shí)蒸餾推理和決策Agent
知識(shí)蒸餾推理
目的：通過利用更大規(guī)模的LLM生成顯式的推理數(shù)據(jù)，增強(qiáng)較小規(guī)模的LLM-based GR模型的訓(xùn)練。知識(shí)蒸餾推理模塊提升了GR模型的檢索精度，減少了幻覺現(xiàn)象。思路如下：
推理源數(shù)據(jù)構(gòu)建
- 相關(guān)和無關(guān)查詢-文檔對(duì)的收集：
- 相關(guān)查詢-文檔對(duì)：從訓(xùn)練語料庫 中采樣得到 。
- 無關(guān)查詢-文檔對(duì)：通過以下步驟獲取：
使用初步GR模型 對(duì)搜索日志中的查詢集 進(jìn)行檢索，生成文檔集合 。
使用一系列開源LLM 對(duì)每個(gè)查詢-文檔對(duì) 進(jìn)行相關(guān)性判斷，篩選出無關(guān)對(duì) 。prmopt如下：
- 只有當(dāng)所有LLM都判定某個(gè)查詢-文檔對(duì)為無關(guān)時(shí)，才將其分類為無關(guān)。
- 構(gòu)建推理源數(shù)據(jù)： 將相關(guān)和無關(guān)的查詢-文檔對(duì)組合成推理源數(shù)據(jù) 。
推理生成
- 使用推理生成器 （一個(gè)比GR模型 更強(qiáng)大的模型）生成高質(zhì)量的推理過程。
- 輸入為查詢-文檔對(duì)及其相關(guān)性判斷結(jié)果，輸出為推理過程 。
- 使用下面Prompt進(jìn)行推理生成：
蒸餾推理數(shù)據(jù)
將推理過程加入到訓(xùn)練數(shù)據(jù)中，通過監(jiān)督微調(diào)增強(qiáng)GR模型的理解能力。步驟如下：
- 推理過程的訓(xùn)練損失函數(shù)為：
決策Agent
決策Agent的目的是進(jìn)一步提高檢索精度。總體流程如下：
- 輸入：
- 一個(gè)由GR模型檢索到的文檔 di。
- 候選文檔集合 D 。
- 步驟：
步驟1：使用檢索模型進(jìn)行初步檢索，利用一個(gè)檢索模型(RM)，可以是稀疏檢索(SR)或密集檢索(DR)，為GR檢索到的文檔 di 檢索出最相關(guān)的m個(gè)文檔 {di-1，...，di-m}。
步驟2：使用LLM進(jìn)行多角度評(píng)估：使用一個(gè)強(qiáng)大的LLM(例如Qwen2.5-32B)從多個(gè)角度評(píng)估這些文檔與查詢的相關(guān)性。在本文的場(chǎng)景中，結(jié)構(gòu)化信息如產(chǎn)品公司、產(chǎn)品類型和產(chǎn)品期限被用作評(píng)估的不同視角。prompt如下：
步驟3：篩選最終結(jié)果：只有在所有評(píng)估視角下都被認(rèn)為相關(guān)的文檔才會(huì)被保留作為最終的檢索結(jié)果。可以看作是多個(gè)LLM都投票一致。
實(shí)驗(yàn)性能
離線性能比較：與基線GR模型相比，提出的方法在基金數(shù)據(jù)和保險(xiǎn)數(shù)據(jù)上的準(zhǔn)確率（ACC）分別提高了3.34%和4.22%。與檢索基線模型BM25相比，基金數(shù)據(jù)上的ACC提高了17.84%，保險(xiǎn)數(shù)據(jù)上提高了42.72%。
消融研究：移除推理組件導(dǎo)致基金檢索準(zhǔn)確率下降2%，保險(xiǎn)檢索下降2.39%。決策代理模塊分別提高了基金檢索準(zhǔn)確率1.67%和保險(xiǎn)檢索準(zhǔn)確率3.88%。這進(jìn)一步驗(yàn)證了推理和決策代理模塊在提高生成式檢索精度方面的有效性。
在線A/B測(cè)試：在支付寶的基金搜索和保險(xiǎn)搜索中進(jìn)行了在線A/B測(cè)試，結(jié)果表明在點(diǎn)擊頁面瀏覽量（Click_PV）、點(diǎn)擊獨(dú)立訪客數(shù)（Click_UV）、交易次數(shù)（Trade_Count）和交易獨(dú)立訪客數(shù)（Trade_UV）等關(guān)鍵搜索指標(biāo)上均有顯著改進(jìn)，統(tǒng)計(jì)顯著性水平為95%（p值<0.05）。這表明所提方法在實(shí)際應(yīng)用中也能顯著提高搜索質(zhì)量和轉(zhuǎn)化率。
案例
參考文獻(xiàn)：Alleviating LLM-based Generative Retrieval Hallucination in Alipay Search，https://arxiv.org/pdf/2503.21098v2
本文轉(zhuǎn)載自??大模型自然語言處理?? 作者：余俊暉
