摘要

大型語言模型（LLMs）已經徹底改變了基于自然語言處理（NLP）的應用，包括自動化文本生成、問答系統、聊天機器人等。然而，它們面臨一個重大挑戰：產生幻覺，即模型生成聽起來合理但實際上錯誤的內容。這削弱了信任，并限制了LLMs在不同領域的適用性。另一方面，知識圖譜（KGs）提供了結構化的互聯事實集合，以實體（節點）及其關系（邊）表示。在最近的研究中，KGs已被用于提供上下文，可以填補LLMs在理解某些話題時的空白，提供了一種緩解LLMs幻覺的有前途的方法，增強了它們的可靠性和準確性，同時受益于它們廣泛的適用性。盡管如此，它仍然是一個非常活躍的研究領域，存在許多未解決的開放性問題。在本文中，我們討論了這些未解決的挑戰，涵蓋了最新的數據集和基準測試，以及知識整合和評估幻覺的方法。在我們的討論中，我們考慮了當前大型語言模型（LLMs）在LLM系統中的使用，并針對每個挑戰確定了未來的方向。

圖片

核心速覽

研究背景

1. 研究問題：這篇文章要解決的問題是大型語言模型（LLMs）在生成文本時容易出現的事實不一致現象，即“幻覺”。這種幻覺會損害用戶對AI系統的信任，并在某些情況下生成誤導性信息。
2. 研究難點：該問題的研究難點包括：幻覺的多面性（如世界知識、自相矛盾、與提示指令或給定上下文的幻覺）、評估幻覺的復雜性（需要評估輸出的語義一致性）以及現有數據集和基準測試的局限性。
3. 相關工作：該問題的研究相關工作有：利用知識圖譜（KGs）提供結構化的事實信息來緩解LLMs的幻覺問題、現有的幻覺檢測方法和知識整合模型。

研究方法

這篇論文提出了利用知識圖譜（KGs）來緩解LLMs的幻覺問題。具體來說，

1. 知識圖譜的利用：KGs是一種結構化的知識表示形式，由實體（節點）和它們之間的關系（邊）組成。通過將KGs的信息整合到LLMs中，可以在推理或生成過程中提供事實基礎，從而提高輸出的一致性和準確性。
2. 知識整合模型的分類：根據其底層架構，可以將不同的知識整合模型進行分類。論文提出了一個分類框架，展示了在不同階段加入額外信息以增強事實性的可能性。
3. 幻覺檢測方法：GraphEval提出了一種兩階段的幻覺檢測和緩解方法，通過從LLMs輸出中提取原子斷言并與給定文本上下文進行比較來進行檢測。其他方法如KGR、Fleek等也采用了類似的方法，但都存在一些局限性。
4. 多提示評估：DefAn數據集通過為每個問答數據點提供15個不同的問題重述，來評估LLMs的魯棒性和一致性。

實驗設計

1. 數據集：論文評估了多個幻覺檢測和數據集，包括Shroom SemEval 2024、MuShroom SemEval 2025、MedHalt、HaluEval、TruthfulQA、FELM、HaluBench、DefAn、SimpleQA等。這些數據集覆蓋了多個領域和任務類型，如法律、政治、醫學、科技、藝術、金融等。
2. 評估指標：使用了多種評估指標，如準確率、校準、F1值等，來評估幻覺檢測模型的性能。對于知識整合方法，還使用了BERTScore和BARTScore等語義相似度度量。
3. 實驗設置：實驗設置包括對每個數據集的劃分（訓練、驗證、測試）、子任務的定義以及外部知識的來源（如文本上下文、網頁等）。

結果與分析

1. 幻覺檢測效果：現有的幻覺檢測方法在識別和處理幻覺方面取得了一定的進展，但仍存在一些問題。例如，多階段管道方法的魯棒性和可擴展性有限，且高度依賴于LLMs的提示。
2. 知識整合效果：通過將KGs信息整合到LLMs中，可以顯著提高輸出的一致性和準確性。然而，現有的知識整合方法在快速知識更新和避免提示脆弱性方面仍存在挑戰。
3. 多提示評估：DefAn數據集的評估結果表明，多提示方法可以提高LLMs的魯棒性和一致性，但仍需要進一步的研究來驗證其在不同場景下的有效性。

總體結論

這篇論文總結了利用知識圖譜（KGs）來緩解LLMs幻覺問題的現狀和挑戰。盡管已有方法取得了一定的進展，但幻覺緩解仍然是一個持續的研究問題。論文提出了未來研究的方向，包括大規模數據集、多語言和多任務的評估、細粒度的幻覺檢測、減少對文本提示的依賴以及混合使用不同的幻覺緩解方法。通過這些研究方向，論文希望為LLMs的幻覺問題提供更有效的解決方案。

論文評價

優點與創新

1. 全面性：論文詳細討論了知識圖譜（KGs）在緩解大型語言模型（LLMs）生成幻覺現象中的潛力，涵蓋了當前的研究現狀、局限性以及未來的研究方向。
2. 分類方法：提出了基于架構的知識集成模型分類方法，并總結了不同階段額外信息加入的類別。
3. 資源梳理：梳理了現有的評估幻覺的數據集和基準測試，提供了詳細的資源概覽。
4. 多維度評估：強調了多維度評估的重要性，包括多語言、多任務和多角度的評估方法。
5. 細粒度檢測：提出了細粒度的幻覺檢測方法，如句子級和段落級的檢測，以更好地捕捉幻覺的細節。
6. 未來方向：提出了多個未來研究方向，包括大規模數據集、魯棒評估、細粒度幻覺檢測、非文本提示的知識集成方法以及混合不同方法的探索。

不足與反思

1. 數據集限制：大多數現有數據集缺乏高質量的知識圖譜三元組作為外部知識，限制了知識集成模型的參數化方法的發展。
2. 評估方法局限：當前的評估方法主要依賴于單一的提示和多語言評估的缺乏，未能全面評估系統的魯棒性和泛化能力。
3. 方法依賴性：許多方法仍然依賴于文本提示，存在提示脆弱性和高計算成本的問題。
4. 知識圖譜的局限性：現有的知識圖譜在數據完整性、準確性和多語言覆蓋方面存在局限性，可能影響幻覺緩解的效果。
5. 未來研究建議：需要進一步研究如何在參數化設置中集成知識，減少對文本提示的依賴，并探索不同方法的有效組合。

關鍵問題及回答

問題1：論文中提到的知識圖譜（KGs）在緩解LLMs幻覺問題中的具體應用有哪些？

1. 預訓練階段：將KG triples作為訓練數據的一部分，通過掩碼實體預測任務將KG triples與原始文本輸入融合。例如，Ernie 3.0模型通過大規模的知識增強預訓練來提升語言理解和生成能力。
2. 推理階段：通過提示（prompting）將KG triples與查詢結合，形成輸入對（P={\mathcal{K},\mathcal{Q}}），用于檢索增強生成（RAG）任務。例如，使用BERTscore和BARTScore等語義相似度度量來評估LLMs輸出的質量。
3. 生成后階段：在生成答案后，通過外部KG進行事實檢查，并根據驗證結果對原始輸出進行修正。例如，GECKO方法完全依賴于KG信息進行文本生成。

問題2：論文中提到的幻覺檢測方法有哪些？它們各自的優缺點是什么？

1. GraphEval：提出了一種兩階段的幻覺檢測和緩解方法。第一階段通過LLM提示提取原子斷言并形成子圖，第二階段將這些子圖與給定文本上下文進行比較。優點是可以提供細粒度的錯誤分析，缺點是依賴于LLM提示的魯棒性。
2. KGR：通過命名實體提取KG子圖，并比較源文本和生成文本之間的對齊情況。優點是能夠識別具體的錯誤部分，缺點是可能丟失抽象概念的詳細信息。
3. Fleek：通過提取結構化三元組并使用另一個LLM進行事實檢查。優點是能夠進行事實驗證，缺點是依賴于多個LLM的推理，計算成本高。
4. DefAn：通過為每個問答數據點提供多個問題重述來評估LLMs的魯棒性和一致性。優點是多提示評估可以提高模型的魯棒性，缺點是需要大量的標注數據和計算資源。

問題3：論文中提到的知識整合方法在提高LLMs輸出一致性和準確性方面的效果如何？存在哪些挑戰？

1. 效果：通過將KGs信息整合到LLMs中，可以顯著提高輸出的一致性和準確性。例如，Ernie 3.0模型在大規模知識增強預訓練后，情感分析任務的性能得到了顯著提升。
2. 挑戰：現有的知識整合方法在快速知識更新和避免提示脆弱性方面仍存在挑戰。例如，基于提示的方法依賴于手工設計的模板，容易受到格式和內容限制的影響。此外，多階段管道方法的魯棒性和可擴展性也有限，高度依賴于LLMs的提示。