譯者 | 布加迪
審校 | 重樓
簡介
幻覺是語言模型及其用戶的禍根，指語言模型產生的看似合理但實際上錯誤的陳述。這些幻覺之所以存在問題，是由于它們會削弱用戶信任、傳播錯誤信息，并誤導下游決策，即使輸出的可信度很高。在用戶無法輕松驗證聲明（技術答案、醫學或法律摘要、數據分析）的情況下，這些幻覺尤其令人困擾，因為自信地傳遞錯誤信息會掩蓋潛在的不確定性，從而將小小的建模錯誤變成潛在的重大失敗。
Kalai、Nachum、Vempala和Zhang最近發表了一篇名為《語言模型為何會產生幻覺？》的論文，該論文致力于分析這些錯誤的統計根源及其背后的社會技術激勵機制。論文作者們將生成式錯誤與簡單的分類動態聯系起來，研究了當今的訓練和評估實踐如何促使模型傾向于自信的猜測，而不是校準的不確定性。研究結果深入揭示了幻覺的真正來源，以及哪些類型的改變可以在實踐中減少幻覺。
本文就語言模型幻覺的成因和持續性提供了幾個富有洞察力的總體啟示，我們將逐一探討其中的五點。
1. 幻覺的根本原因
簡而言之：幻覺主要是由訓練和評估程序引起的，這些程序鼓勵猜測而不是承認不確定性。
論文的核心論點是，幻覺（定義為看似合理但不正確的陳述）之所以持續存在，是由于用于訓練和評估的程序無意中獎勵了自信的猜測，而不是承認不確定性。語言模型經優化后充當“優秀的應試者”，這意味著它們會在不確定時進行猜測，以便在懲罰不確定回答（比如“我不知道”或IDK）的評分方案下獲得最高分數。在常見的二進制 0-1 評分方案下，猜測不確定何時可以最大化預期分數。
圖1. 提議的提示，緩解“自信猜測”，并鼓勵“確認不確定性”
2. 幻覺的起源
簡而言之：幻覺的統計起源可以歸結為二元分類中的簡單錯誤。
論文揭開了幻覺的神秘面紗，認為幻覺并不神秘，而僅僅是二元分類中的錯誤。分析將生成式錯誤（比如幻覺）與一個名為“是否有效（IIV）”二元分類的監督學習問題聯系起來。如果系統無法在統計上區分錯誤陳述和事實，那么在預訓練過程中最小化的統計目標（交叉熵損失）自然會導致生成式錯誤。該分析揭示了一種數學關系：生成式錯誤率大致與IIV錯誤分類率的兩倍成正比。
圖2. 將語句錯誤分類為“有效”會導致幻覺
3. 幻覺不可避免
簡而言之：即使使用無錯誤的訓練數據，經過校準的基礎模型在數學上也必然會產生幻覺。
論文表明，即使訓練語料庫完美無誤，在預訓練過程中最小化統計目標的過程仍會導致語言模型產生錯誤。這與校準概念相關。由于錯誤是標準交叉熵目標的自然結果，任何經過良好訓練且經過校準的基礎模型（即其預測概率與現實相符）都必然會產生錯誤，尤其是在面對本質上無法學習的事實時。相反，能夠避免錯誤的基礎模型必然會被錯誤校準（即其不確定性估計必然是錯誤的）。
4. 幻覺持續存在
簡而言之：幻覺的持續存在歸咎于不一致的初級評估這種“流行病”。
盡管訓練后技術通常旨在減少虛假信息，但幻覺依然存在，因為絕大多數現有的、有影響力的基準測試和排行榜都大量使用二元評分系統（比如準確率或通過率），這些系統懲罰棄權和不確定性。這造成了一個“社會技術”問題。
如果模型 A 正確地表示了不確定性，而模型 B 總是猜測何時不確定，那么在 0-1 評分方案下，模型 B 的表現將優于模型 A，從而強化了類似幻覺的猜測行為。這種常見的錯位評估是問題的根源，而僅僅通過添加一小部分新的針對幻覺的評估是無法解決這個問題的。
5. 任意性的作用
簡而言之：任意事實（低數據頻率）引起的統計不確定性是導致預訓練誤差的關鍵因素。
導致預訓練誤差的一個主要統計因素是任意事實的存在。任意事實是指特定的、隨機的事實，其中沒有簡潔的模式解釋目標函數，這會導致認知不確定性，因為訓練數據中缺乏或鮮有必要的知識，比如個人生日。
分析表明，對于任意事實，預期的幻覺率其下限是由單例率決定的，即在訓練數據中只出現一次的事實的比例。比如說，如果 20% 的生日事實只出現一次，預計模型會對至少 20% 的事實產生幻覺。其他生成式誤差因素包括較差的模型（模型系列無法很好地表示概念，比如字母計數的例子）和 GIGO（垃圾進垃圾出，即模型復制訓練數據中的錯誤）。
幾大心得
論文由幾個主題串聯起來。
首先，幻覺并非神秘的失敗；相反，它們源于對有效性的普通錯誤分類，與任何分類器在無法可靠地區分真假時都會犯的二元錯誤相同。
其次，我們主流的評估文化通過懲罰不確定性的表達來隱性地獎勵自信的猜測，因此，即使有誤，那些從不說“我不知道”的模型在排行榜上也會表現得更好。
第三，持久的進步不會來自事后添加上去的補丁；它需要改變基準評分，以重視經過校準的不確定性和棄權，然后根據這些激勵機制調整訓練和部署。
值得思考的問題是：如果您獎勵那些知道何時不回答問題的人和機器，您的信息消費會是什么樣子？
原文標題：Why Do Language Models Hallucinate?，作者：Matthew Mayo
