今天我們繼續來聊一下人工智能（AI）生態領域相關的技術 - LLM Hallucinations ，本文將繼續聚焦在針對 LLM Hallucinations 技術進行剖析，使得大家能夠了解 LLM Hallucinations 出現緣由以便更好地對利用其進行應用及市場開發。

眾所周知，LLM(大型語言模型)的迅猛崛起無疑為人工智能領域帶來了革命性的變革。這種先進的技術以其驚人的文本生成能力，在諸多領域展現出廣闊的應用前景，為提升用戶體驗帶來全新契機。

不可否認，諸如 ChatGPT 等杰出代表所體現的卓越語言理解和生成能力，令人印象深刻。然而，就在這股浪潮持續推進的同時，一個令人憂慮的問題也逐漸浮出水面——Hallucinations 現象。

一、什么是 LLM Hallucinations (幻覺) ？

近年來，LLM （大型語言模型）在自然語言處理領域取得了令人矚目的進展，展現出與人類對話交互的驚人能力。這種新型人工智能模型通過學習海量文本數據，掌握了極為豐富的語言知識和語義理解能力，使得人機交互更加自然流暢，給人一種"人工智能已經擁有人類般的思維"的錯覺。然而，現實情況并非如此簡單，LLM在實現"類人"對話的同時，也暴露出了一些令人憂慮的缺陷和局限性。

其中，最為人們所關注的一個問題便是：“Hallucinations (幻覺) ”現象。所謂幻覺？通常是指 LLM 在生成文本輸出時，產生一些不準確、無意義或者與上下文嚴重脫節的內容。由于這種現象的存在，使得 LLM 雖然表面上看似能流利地進行對話交互，但其生成的部分內容卻可能嚴重違背事實常識，缺乏邏輯連貫性。這無疑給那些希望利用 LLM 技術的企業和組織帶來了潛在的風險和挑戰。

一些專家研究人員對流行的 ChatGPT 等 LLM 模型進行了評估和統計，結果顯示其中約 15% 到 20% 的回復存在不同程度的幻覺現象。這一數據令人咋舌，也凸顯了幻覺問題在 LLM 中的普遍性和嚴重程度。如果不能得到有效控制，幻覺現象極有可能會對企業聲譽、AI 系統的可靠性和用戶信任造成極為嚴重的沖擊和損害。

亦或是：

二、LLM Hallucinations 產生的原因及分析 ？

在實際的場景中，LLM (大型語言模型)中出現幻覺現象的原因是多方面的，跟其開發和部署的各個環節都有關系。

因此，我們需要從多個角度來深入探究導致幻覺的關鍵因素，通常涉及訓練數據、模型架構和推理策略等方面的問題。

1. 訓練數據

導致 LLM 出現幻覺的一個重要根源在于“訓練數據”的性質問題。像 GPT、Falcon 和 LlaMa 等大型語言模型，都是通過從多個來源收集的大規模且多樣化的數據集進行廣泛的無監督預訓練。

然而，驗證這些海量訓練數據的公平性、客觀性和事實準確性是一個巨大的挑戰。當這些模型從這些數據中學習生成文本時，它們很可能也復制并繼承了訓練數據中存在的事實錯誤和不準確之處，從而導致了模型難以區分虛構和現實，并可能產生偏離事實或違背邏輯推理的輸出。

打個比方，即使是接受過法律培訓的語言模型，如果訓練數據源于互聯網上的各類材料，那其中也不可避免地包含了帶有偏見或錯誤信息的部分。由于模型無法很好地將準確和不準確的知識加以區分，這些錯誤信息就可能被復制并傳遞到模型的生成內容中。

因此，訓練數據質量的把控對于避免 LLM 產生幻覺現象至關重要。我們需要從源頭上通過人工審核、自動檢測、事實驗證等多種手段，努力提高訓練數據的整體質量和可信度，消除其中的偏差、錯誤和噪音，為模型提供更加干凈、公正和一致的學習材料，從而有效降低其產生幻覺的風險。

此外，也需要在模型架構和推理策略層面采取相應的優化措施，增強模型對事實和邏輯的理解和把握能力，確保其生成的內容保持高度的客觀性和合理性。只有訓練數據、模型架構和推理策略三位一體，才能最大程度避免 LLM 產生幻覺，賦予其更高的可靠性和應用價值。

2. 模型架構

除了上述的訓練數據外，模型架構也是導致的 LLM 幻覺問題的罪魁禍首之一，通常而言，模型架構缺陷主要源自以下幾個方面，具體如下：

（1）局部視角和上下文缺失

截至目前，主流的絕大多數 LLM 采用的 Transformer 等序列到序列架構，雖然在捕捉長程依賴方面有優勢，但其注意力機制卻過于關注局部信息。這種片段式、局部化的視角很容易導致模型忽視上下文和全局信息，影響對語義的完整把握，從而產生偏離語境的不合理輸出。

（2）缺乏外部記憶與常識知識庫

在我們所了解的模型中，許多 LLM 缺乏永久的外部記憶和常識知識庫作為參考依據，僅依賴有限的內部記憶，往往難以很好地捕捉和維系上下文歷史信息，也無法有效糾正錯誤的推理和生成過程，從而導致不連貫、不合理的幻覺輸出。

（3）弱監督和無監督訓練存在缺陷

我們都知道，大部分 LLM 采用的是弱監督或無監督的預訓練方式，缺乏足夠的人工標注數據指導，使得模型很難從訓練過程中獲得強有力的語義理解和推理能力，從而更容易產生缺乏事實根據的幻覺。

（4）缺乏魯棒性和可解釋性

現有架構也缺乏足夠的魯棒性和可解釋性，難以探查模型內部狀態和決策過程，無法從根源上剖析和規避導致幻覺的深層次原因。

因此，解決 LLM 架構導致的幻覺問題，我們需要從更加層級化、可解釋、常識化和魯棒化的架構設計出發，引入外部知識庫和記憶模塊，強化上下文理解和推理能力，并結合更有針對性的訓練范式，才能從根本上降低 LLM 產生幻覺的風險。

3. 推理策略

在 LLM 的推理階段，通常存在幾個潛在因素可能引發各種形式的幻覺輸出。具體如下。

（1）缺陷的解碼策略:

在推理階段，LLM 使用的解碼策略可能存在局限性和缺陷。例如,貪心式解碼可能會陷入局部最優解,無法全面考慮上下文語義。

另一些復雜的解碼策略，如 beam search，也可能在某些情況下產生不連貫或違背常理的輸出。這可能是由于解碼算法本身的設計局限性造成的。

（2）采樣方法中的隨機性:

LLM 在推理過程中通常會采用一些隨機采樣方法,如核采樣或溫度采樣,以增加輸出的多樣性。

但是，這些隨機采樣方法內在的不確定性也可能導致一些不合理或違背常識的輸出結果。在某些邊緣情況下，這種隨機性可能產生極端結果，從而造成幻覺。

（3）上下文注意力不足

LLM 在解碼過程中可能無法充分捕捉和利用提供的上下文信息。這可能導致輸出缺乏針對性和相關性，從而產生違背現實的結果。

因此，改善上下文建模能力，增強 LLM 對相關語境的理解和利用,有助于緩解這一問題。

（4）Softmax 瓶頸

Softmax 輸出層可能會導致 LLM 在某些情況下產生過于集中的概率分布，忽略了一些潛在的合理輸出。

這種 Softmax 瓶頸效應可能會阻礙 LLM 在推理過程中探索更廣泛的可能性，從而導致偏離現實的幻覺輸出。

三、減輕或避免 LLM Hallucinations 的常見策略 

眾所周知，針對 LLM 而言，其內在的復雜性以及”黑箱"特征，使得在消除無關緊要或隨機幻覺輸出成為一個艱巨的挑戰。基于其特征所帶來的不確定性和不可解釋性，注定了 Hallucinations（幻覺）現象的存在具有一定的不可避免性。

盡管如此，在實際的業務場景中，我們仍然可以采取一些務實的策略和方法，以規避或減輕 Hallucinations（幻覺）問題帶來的不利影響。

1. 上下文注入及數據增強

鑒于 LLM 在實際應用中存在幻覺現象等缺陷，業內人士提出了多種有效的上下文和數據增強策略，旨在提升模型的理解和生成能力，產生更準確、更貼合語境的高質量響應。

其中，一種被廣泛探討和采用的方法是合并外部數據庫知識。傳統的語言模型訓練過程中，模型所學習的知識完全來自于文本語料庫數據。但由于訓練數據的有限性，模型在特定領域或話題的知識覆蓋面往往存在不足。因此，在模型預測和生成過程中，賦予其訪問相關外部數據源的能力就顯得尤為重要。通過與結構化知識庫、行業數據集等進行交互式查詢，語言模型可以獲取所需的補充知識，從而使生成的響應更加準確、專業和富有見地，同時也有助于降低幻覺輸出的發生率。

另一種行之有效的優化手段是使用上下文 Prompt Engineering (提示工程)技術。所謂提示工程，是指為語言模型精心設計包含顯式指令、上下文提示或特定框架的輸入提示，以指導和約束模型的生成過程。通過提供清晰的語境信息和任務要求，提示工程可以大幅減少生成過程中的歧義，引導模型更好地捕捉輸入的語義，并生成更加可靠、連貫、符合預期的高質量輸出。

2. 預處理及輸入控制

除了上下文與數據增強外，預處理和輸入控制策略同樣是降低大型語言模型幻覺輸出風險的行之有效手段。通過對模型的輸入和生成過程進行適當的限制和引導，我們可以進一步提升其輸出質量和可控性。

限制響應長度就是一種常見的預處理方法。由于語言模型生成過程本身存在一定的不確定性，響應內容往往會隨著長度的增加而產生越來越多的離譜乃至矛盾之處。因此，通過為生成的響應設置合理的最大長度，將無關無謬或前后不一的幻覺內容風險降至最低，從而有助于確保生成文本的連貫性和一致性。同時，適當的長度限制也可為用戶帶來更加個性化和吸引人的體驗，避免冗長拖沓的輸出影響用戶體驗。

另一種輸入控制手段是受控輸入(Constrained Input)，即不為用戶提供自由格式的文本框，而是設計特定的樣式選擇或結構化提示，來約束和指導模型的生成過程。這種方式一方面可以有效縮小可能的輸出范圍，降低幻覺產生的概率;另一方面，通過為模型提供更加明確的語義指示，同樣有助于提高生成內容的針對性和合理性。

3. 模型架構行為調整

除了輸入層面的優化策略，我們還可以通過調整語言模型自身的一些關鍵參數，對其生成輸出的質量和特性加以精細調控，在多樣性與可控性之間尋求合理平衡。

LLM 在生成過程中,輸出響應的性質會受到諸如 Temperature、Frequency Penalty、Presence Penalty 和 Top-P/Top-K Sampling等多個參數的綜合影響。通過對這些參數進行審慎的調整，我們可以在生成的多樣性與可控性之間尋求到最佳平衡點，既避免輸出過于呆板乏味，也不會失控導致過多無關幻覺內容的出現，真正發揮出語言模型的巨大潛能。

除了直接優化語言模型本身外，我們還可以在其生成輸出的基礎上，引入獨立的審核層(Auditing Layer)進行二次過濾和把關。通過部署先進的審核系統，我們能夠有效識別和過濾掉模型生成的不當、不安全或無關內容，從而進一步降低幻覺、謠言等風險，確保最終輸出符合預定義的質量標準和準則。

4. 學習及改進

為了持續優化語言模型的性能表現，確保其輸出的可靠性和準確性，并最大限度降低幻覺等問題的發生，建立高效的學習、反饋與改進機制是關鍵所在。這需要組織層面對模型進行持續不斷的監控、評估和調優，形成一個良性的質量優化閉環。

首先，有必要建立完善的用戶反饋與人工審核體系。通過收集和分析來自實際應用場景中用戶的反饋意見，包括對模型輸出質量的打分評價、具體問題和改進建議等，我們就能夠更精確地洞察模型存在的缺陷和不足，了解幻覺等問題的具體表現形式。同時，組織亦需部署專業的人工審核團隊，通過人工驗證和審查流程進一步識別和過濾模型輸出中的不當內容。

除了不斷優化現有模型外，我們還需注重語言模型在特定領域場景中的適應性增強。由于 LLM 通常以通用預訓練模型為基礎，這使得其在某些垂直領域的應用效果并不理想，答復中往往存在明顯的領域知識缺失或幻覺輸出。因此，我們需要針對目標領域的數據和知識庫，對基礎模型進行進一步的微調或知識增強，使其充分理解和掌握目標領域的語言模式、術語表達、知識框架和現象規律。

四、關于 LLM Hallucinations 的一點思考 

因此，從某種意義上而言，LLM Hallucinations 問題的存在，給我們提供了反思人工智能現狀與前景的良機。它再次喚醒了我們對 AI "黑箱"性質的憂慮，以及對其可解釋性和可控性的嚴重關切。

畢竟，AI 是把雙刃劍，如果缺乏有效管控，極有可能被濫用而帶來不可估量的損害。因此，Hallucinations 正敲響了行業警鐘：我們亟需建立健全的法律法規、審計標準和倫理準則，來規范和約束 LLM 及類似技術的應用，時刻保持對其的"有識別、有控制"。

同時，Hallucinations 也折射出了 AI 本身存在的缺陷和不足：機器在模擬人類的認知過程層面尚有極大的提升空間，其缺乏因果推理、常識判斷等關鍵認知能力，難以做到真正的"理解"。但正因如此，也再度激發了人們對 AI 前景的思考。這場注定艱難曲折的探索，意味著我們必須在制度、理論和算法層面持續推陳出新，不斷拓寬人工智能的思維邊界和表達維度。