出品 | 51CTO技術(shù)棧（微信號：blog51cto）

眾所周知，LLM會產(chǎn)生幻覺——即生成不正確、誤導(dǎo)性或無意義的信息。

有意思的是，一些人，如OpenAI的CEO Sam Altman，將AI的幻覺視為創(chuàng)造力，而另一些人則認(rèn)為幻覺可能有助于做出新的科學(xué)發(fā)現(xiàn)。

然而，在大多數(shù)情況下，提供正確回答至關(guān)重要，幻覺并不是一項特性，而是一種缺陷。

那么，如何減少LLM的幻覺呢？長上下文？RAG？微調(diào)？

其實(shí)，長上下文LLMs并非萬無一失，向量搜索RAG也不盡如人意，而微調(diào)則伴隨著其自身的挑戰(zhàn)和限制。

下面是一些可以用來減少LLM幻覺的高級技術(shù)。

1.高級提示詞

關(guān)于使用更好或更高級的提示詞（prompts）是否能解決大型語言模型（LLM）的幻覺問題，確實(shí)存在很多討論。

圖片

雖然一些人認(rèn)為編寫更詳細(xì)的提示詞對解決（幻覺）問題沒有幫助，但谷歌大腦（Google Brain）的聯(lián)合創(chuàng)始人吳恩達(dá)（Andrew Ng）等人卻看到了其中的潛力。

吳恩達(dá)認(rèn)為，GPT-4和其他先進(jìn)模型的推理能力使它們非常擅長解釋帶有詳細(xì)說明的復(fù)雜提示詞。

圖片

“通過多示例學(xué)習(xí)，開發(fā)者可以在提示詞中給出數(shù)十個，甚至數(shù)百個示例，這比少示例學(xué)習(xí)更為有效，”他寫道。

圖片

為了改進(jìn)提示詞，許多新的進(jìn)展也在不斷涌現(xiàn)，比如Anthropic公司于5月10日發(fā)布了一款新的“Prompt Generator”工具，該工具可以將簡單的描述轉(zhuǎn)化為針對大型語言模型（LLMs）優(yōu)化的高級提示詞。通過Anthropic控制臺，就可以生成用于生產(chǎn)的提示詞。

最近，馬克·安德森（Marc Andreessen）也表示，通過正確的提示，我們可以解鎖AI模型中的潛在超級天才。“在不同領(lǐng)域的提示技術(shù)可以解鎖這種潛在超級天才”，他補(bǔ)充道。

2.Meta AI的Chain-of-Verification（CoVe）

Meta AI的Chain-of-Verification（CoVe）是另一種技術(shù)。這種方法通過將事實(shí)核查分解為可管理的步驟，提高響應(yīng)準(zhǔn)確性，并與人類驅(qū)動的事實(shí)核查過程保持一致，來減少大型語言模型（LLMs）的幻覺現(xiàn)象。

圖片

CoVe涉及生成初始響應(yīng)、規(guī)劃驗證問題、獨(dú)立回答這些問題，并生成最終經(jīng)過驗證的響應(yīng)。通過系統(tǒng)地驗證和糾正其輸出，這種方法顯著提高了模型的準(zhǔn)確性。

它通過減少幻覺并增加事實(shí)正確性，在各種任務(wù)中提高了性能，如基于列表的問題、閉卷問答和長篇文本生成等。

3.知識圖譜

RAG（檢索增強(qiáng)的生成）不再局限于向量數(shù)據(jù)庫匹配，目前引入了許多先進(jìn)的RAG技術(shù)，顯著提高了檢索效果。

圖片

例如，將知識圖譜（KGs）集成到RAG中。通過利用知識圖譜中結(jié)構(gòu)化且相互關(guān)聯(lián)的數(shù)據(jù)，可以大大增強(qiáng)當(dāng)前RAG系統(tǒng)的推理能力。

4.Raptor

另一種技術(shù)是Raptor，該方法通過創(chuàng)建更高層次的抽象來處理跨越多個文檔的問題。它在回答涉及多個文檔概念的查詢時特別有用。

圖片

像Raptor這樣的方法與長上下文大型語言模型（LLMs）非常契合，因為你可以直接嵌入整個文檔而無需分塊。

該方法通過將外部檢索機(jī)制與變換器模型集成來減少幻覺現(xiàn)象。當(dāng)接收到查詢時，Raptor首先從外部知識庫中檢索相關(guān)且經(jīng)過驗證的信息。

然后，將這些檢索到的數(shù)據(jù)與原始查詢一起嵌入到模型的上下文中。通過將模型的響應(yīng)基于事實(shí)和相關(guān)信息，Raptor確保生成的內(nèi)容既準(zhǔn)確又符合上下文。

5.共形抽離（Conformal Abstention）

論文《通過共形抽離緩解大型語言模型的幻覺現(xiàn)象》介紹了一種通過應(yīng)用共形預(yù)測技術(shù)來確定模型何時應(yīng)該避免給出響應(yīng)，從而減少大型語言模型（LLMs）中的幻覺現(xiàn)象的方法。

圖片

通過使用自我一致性來評估響應(yīng)的相似性，并利用共形預(yù)測進(jìn)行嚴(yán)格的保證，該方法確保模型只在對其準(zhǔn)確性有信心時才做出響應(yīng)。

這種方法在保持平衡的抽離率的同時，有效地限制了幻覺現(xiàn)象的發(fā)生率，特別有利于需要長篇回答的任務(wù)。它通過避免錯誤或不合邏輯的響應(yīng)，顯著提高了模型輸出的可靠性。

6.RAG減少結(jié)構(gòu)化輸出中的幻覺現(xiàn)象

最近，ServiceNow通過RAG減少了結(jié)構(gòu)化輸出中的幻覺現(xiàn)象，提高了大型語言模型（LLM）的性能，實(shí)現(xiàn)了域外泛化，同時最小化了資源使用。

圖片

該技術(shù)涉及一個RAG系統(tǒng)，該系統(tǒng)在生成文本之前從外部知識庫中檢索相關(guān)的JSON對象。這確保了生成過程基于準(zhǔn)確且相關(guān)的數(shù)據(jù)。

圖片

通過融入這一預(yù)檢索步驟，模型不太可能產(chǎn)生錯誤或捏造的信息，從而減少了幻覺現(xiàn)象。此外，這種方法允許使用較小的模型而不犧牲性能，使其既高效又有效。

本文轉(zhuǎn)載自??51CTO技術(shù)棧??