斯坦福新研究：RAG能幫助LLM更靠譜嗎？ 精華
大語(yǔ)言模型（LLM）雖然功能強(qiáng)大，但容易出現(xiàn)幻覺。
此外，它們受限于其訓(xùn)練語(yǔ)料庫(kù)中包含的知識(shí)，因此無(wú)法回答有關(guān)近期事件或公開受限信息的查詢。
為了解決上述問題，檢索增強(qiáng)生成（RAG）是一種常用的框架，它在LLM的提示中提供相關(guān)檢索內(nèi)容，獲得相關(guān)信息的參考文檔或數(shù)據(jù)庫(kù)，并可以顯著提高模型的準(zhǔn)確性。
大多數(shù)商業(yè)LLM，如ChatGPT、Gemini和Perplexity.ai，已經(jīng)在它們的Web界面中采用了某種版本的RAG。
例如，ChatGPT使用Bing搜索，而Gemini訪問Google搜索結(jié)果。
但當(dāng)語(yǔ)言模型內(nèi)部知識(shí)與通過RAG提供的信息之間的不一致時(shí)，或者當(dāng)網(wǎng)絡(luò)結(jié)果不斷變化，并且可能包含過時(shí)、錯(cuò)誤或有害的信息時(shí)，這個(gè)問題就變得更加復(fù)雜了。
因此，對(duì)啟用RAG的LLM行為進(jìn)行客觀評(píng)估，與對(duì)它們的非RAG對(duì)應(yīng)物進(jìn)行基準(zhǔn)測(cè)試同樣重要，特別是目前RAG系統(tǒng)越來(lái)越依賴于在眾多領(lǐng)域提供事實(shí)信息。
量化LLM和RAG之間的關(guān)系
在斯坦福的最新研究中，研究工作旨在量化LLM的內(nèi)部知識(shí)與RAG設(shè)置中呈現(xiàn)的檢索信息之間的緊張關(guān)系。
沒有上下文（即沒有RAG），測(cè)試的語(yǔ)言模型平均只能正確回答34.7%的問題。有了RAG，準(zhǔn)確率提高到了94%。
「先前」指的是沒有上下文的GPT-4響應(yīng)，「帶RAG」指的是在提示中包含了相關(guān)檢索到的上下文的響應(yīng)。
此外，還包括了先驗(yàn)概率與RAG偏好率之間關(guān)系的斜率。例如，平均斜率為-0.23，這意味著每當(dāng)先驗(yàn)token的概率增加10%，RAG偏好率的下降可能性為2.3%。
為了區(qū)分這兩種相互競(jìng)爭(zhēng)的力量，研究人員對(duì)GPT-4和其他大語(yǔ)言模型（LLM）進(jìn)行了測(cè)試，使用了六組不同的問題，總共超過1200個(gè)問題。
當(dāng)提供正確的參考信息時(shí)，這些模型正確回答了94%的問題。
然而，當(dāng)參考文檔逐漸被錯(cuò)誤的值修改時(shí)，如果模型自身在該主題上的預(yù)訓(xùn)練知識(shí)較弱，LLM重復(fù)錯(cuò)誤信息的可能性就更高。
當(dāng)預(yù)訓(xùn)練知識(shí)更強(qiáng)時(shí)，模型更能抵抗錯(cuò)誤的參考信息。
根據(jù)參考文檔中信息的錯(cuò)誤程度，大語(yǔ)言模型（LLM）會(huì)通過檢索增強(qiáng)生成（RAG）引用或從其知識(shí)庫(kù)中輸出錯(cuò)誤答案。
當(dāng)修改后的信息與模型認(rèn)為合理的情況偏離得更厲害時(shí)，出現(xiàn)了類似的模式：偏離越不切實(shí)際，大語(yǔ)言模型（LLM）就越依賴于自己的預(yù)訓(xùn)練知識(shí)。
盡管RAG系統(tǒng)可以顯著提高語(yǔ)言模型的事實(shí)準(zhǔn)確性，但它們并不是對(duì)抗錯(cuò)誤信息的萬(wàn)能藥。
上述實(shí)驗(yàn)說明使用高質(zhì)量參考數(shù)據(jù)的RAG可以顯著提高LLMs的準(zhǔn)確性。
此外，模型的良好訓(xùn)練先前知識(shí)有助于識(shí)別和忽略不切實(shí)際的信息。
RAG提示強(qiáng)度和模型先驗(yàn)知識(shí)之間的博弈
另外遵守參考信息的提示強(qiáng)度也產(chǎn)生了影響：更強(qiáng)烈的提示導(dǎo)致模型更有可能遵循參考信息。
相反，當(dāng)提示不那么嚴(yán)格，模型有更多的自由度來(lái)衡量其先前知識(shí)與參考信息時(shí)，遵循參考信息的可能性就會(huì)降低。
大語(yǔ)言模型（LLM）訪問檢索增強(qiáng)生成（RAG）數(shù)據(jù)的方式會(huì)影響從參考中提取信息的準(zhǔn)確性。
為了實(shí)現(xiàn)盡可能高的準(zhǔn)確性，必須非常清楚地告知LLM，它應(yīng)該只從參考中獲取數(shù)據(jù)。
讓RAG能更好地輔助LLM
RAG系統(tǒng)相對(duì)于傳統(tǒng)搜索引擎具有獨(dú)特的吸引力，它們可以結(jié)合先驗(yàn)知識(shí)來(lái)填補(bǔ)空白并推斷檢索到的信息。
但這伴隨著權(quán)衡——即，這樣的先驗(yàn)知識(shí)可以覆蓋文檔中提供的信息。
雖然強(qiáng)大的先驗(yàn)知識(shí)本身并不是問題（通常可以保護(hù)模型），但缺乏關(guān)于模型如何混合RAG參考文檔和它們先驗(yàn)知識(shí)的明確預(yù)期，可能導(dǎo)致下游結(jié)論不準(zhǔn)確的問題。
例如，RAG系統(tǒng)被用來(lái)提取嵌套的財(cái)務(wù)數(shù)據(jù)以用于算法，如果財(cái)務(wù)文檔中有一個(gè)錯(cuò)別字會(huì)發(fā)生什么？模型會(huì)注意到錯(cuò)誤嗎？如果是，它會(huì)提供什么數(shù)據(jù)來(lái)代替？
鑒于LLM即將在包括醫(yī)學(xué)和法律在內(nèi)的許多領(lǐng)域廣泛部署，用戶和開發(fā)者都應(yīng)該意識(shí)到它們的意外效果，并給出預(yù)案。
用戶需要更加了解模型如何處理潛在的沖突或錯(cuò)誤信息，以及RAG系統(tǒng)和LLM一樣，也可能出錯(cuò)。
本文轉(zhuǎn)自新智元 ，作者：新智元
