幻覺成了AI的“癌癥”,連OpenAI也治不了

學生參加考試,當他不知道題目的答案時,可能會猜測。實際上,AI聊天機器人也一樣。AI給出的答案可能看起來正確,實際卻是完全錯誤的,這就是所謂的“幻覺”。
從本質上講,AI大語言模型生成的回復偏離事實或者不符合邏輯,就會產生幻覺。在訓練時模型難免存在數據空白,但它會用看似合理、實則錯誤的細節填補、掩飾。
AI并非有意欺騙人類,而是人類利用龐大數據進行訓練時存在缺陷。AI預測序列的下一個單詞或者詞匯時,并未真正理解含義,所以導致錯誤。
雖然近年來AI技術有所進步,但即便是在OpenAI的GPT-5模型中,幻覺依然存在,而且還很嚴重。
AI幻覺出現與獎勵出錯有關
為什么會出現幻覺?一些專家認為,主要是訓練數據和算法存在局限性。OpenAI開發的AI模型實際上就是模式匹配機器,它擅長模仿,但是當數據不完整或者含糊不清時就容易出錯。
OpenAI最近發表論文,認為造成幻覺的原因是訓練時方法錯誤。當模型輸出充滿自信的結果時會獲得“獎勵”,哪怕給出的結果是猜測的,也會得到獎勵,這就誘導AI輸出過度自信但存在錯誤的信息。
也就是說,在回復時AI喜歡“假裝”自己能準確回答問題,不承認自己存在不確定性,這一問題屬于隱性結構性缺陷,暫時找不到解決方法。
一些專家斷言,當前的訓練方法鼓勵AI猜測,導致AI過度自信,不承認自己無知,結果導致“幻覺”問題有可能越來越嚴重。
就連OpenAI也不得不承認,幻覺可能是永遠無法解決的問題。所以OpenAI認為,不應該鼓勵AI猜測,而應該鼓勵AI承認不確定性。
然而,另一個問題隨之到來。Claude模型鼓勵AI承認不確定性,對于不準確的回復,它總是避免給出定論。但如此一來,必然會導致Claude在回復時拒絕率居高不下,進而導致用戶不滿,最終影響實用性。
今天的AI實際上有點像“應試者”,面對問題時如果無法給出確定答案,為了提高成績,AI會通過猜測來應對,因為猜測后成績更高。我們的世界并非絕對的二元對立,對與錯、黑與白,并非如此純粹簡單。生活中到處都是不確定性,真正的準確可能根本就無法實現。
作為人類,當我們走出校園,經歷挫折和實踐,會逐漸領悟到“表達存在不確定性”的價值,但在語言模型中,表達不確定卻會遭到懲罰。
為了解決這一問題,OpenAI建議重新設計評估標準。在評估AI時,如果存在不確定情況,AI棄權,拒絕回應,不應該懲罰它。
OpenAI認為:“我們的評估方法偏愛準確性,這種方法需要更新,評分機制應該努力抑制猜測行為。如果主要的評分系統一直鼓勵猜測,那么模型就會不斷學習如何猜測。”
幻覺成了AI的“癌癥”
“幻覺”問題嚴重阻礙了AI的普及。如果應用于醫療保健或者金融領域,不可靠的結果可能會造成嚴重后果。
美國普渡大學研究人員Tianyang Xu認為:“對于大多數幻覺而言,發生概率已經降低到一個用戶可以接受的水平。”但在法律、數學等領域,幻覺仍然是一大障礙。
加州大學認知科學與人工智能研究專家Mark Steyvers表示:“OpenAI在做一些小努力,有進步,但離目標還很遠,GPT并沒有頻繁地承認自己不知道。”
Tianyang Xu認為,擴大模型規模可以改善幻覺問題,我們還可以豐富模型的內部關聯,提高訓練數據質量。當模型訓練數據不足或者基礎信息存在錯誤時,幻覺問題尤其嚴重。此外,當AI面對的論文太長、內容超出理解能力時,無論是總結還是分析,都會產生幻覺現象。
哥本哈根AI公司Silvi的研究人員Mushtaq Bilal指出,完全消除幻覺幾乎是不可能的,如果能做到,AI企業早就做了。
Saachi Jain管理一個AI安全團隊,他認為,減少錯誤,讓模型承認自己不知道,這是OpenAI關注的重點。針對問題,OpenAI傾向于給出冗長、開放式回答,這樣也能減少幻覺現象。
艾倫人工智能研究所AI研究員Akari Asai認為,在一項名為“ScholarQA-CS”的文獻綜述基準測試中,如果GPT-5允許聯網,它的表現很好。如果無法聯網,GPT-5就會出現問題,因為大多文獻綜述系統具備與學術數據庫交叉核對的能力,交叉校對至關重要。如果不聯網,GPT-5出現錯誤的概率相當于GPT-4的兩倍。
New Scientist在一篇文章中表示,AI出現一定程度的幻覺是難以避免的,人類可以通過檢索增強生成技術來緩解,也就是讓模型參考外部數據,進行交叉對比。問題在于,隨著模型的擴大,“幻覺率”似乎并沒有降低,反而提高了。
New Scientist在2025年5月的一篇文章中指出,由于AI復雜度增加,幻覺更嚴重了。甚至有人大聲疾呼:“當AI變得更智能時,幻覺不僅不會減少,反而會增加。”
看來幻覺的確像是AI的癌癥,人類努力多年,無法治愈癌癥,可能幻覺也超出了人類認知,屬于不可解決的范疇。(小刀)




































