連特斯拉前AI總監 Karpathy 都在關注的“模型坍塌”究竟是什么？頂刊《自然》證實，用AI生成的數據喂養AI，不出幾代就會“心智退化”，遺忘真實世界。這場隱秘的危機，正讓我們的數字未來變得無比脆弱。本文為你揭示AI自我毀滅的真相。

最近，連特斯拉前AI總監、AI圈大神級人物Andrej Karpathy都在播客里聊起了一個現象：“模型坍塌”（Model Collapse）。

這個聽起來有些學術的名詞，背后卻是一個足以顛覆我們對AI認知、甚至引發行業地震的殘酷現實。頂級期刊 《自然》 的一篇研究，為這個現象提供了鐵證。

我們以為，AI會通過不斷學習變得越來越聰明。但現實是，當AI開始學習自己和同類創造的內容時，它就像一個被圈養的物種，開啟了“近親繁殖”的退化之路。它會逐漸忘記世界的豐富與真實，最終變成一個只會重復少數單調觀點的 “數字傻瓜”。

這解釋了為什么你感覺網上的AI內容越來越同質化、越來越蠢。讀完本文，你將理解這場危機的原理，并知道我們手中還握著怎樣一張決定未來的王牌。

在AI高歌猛進的今天，這場“模型坍塌”的危機，可能是我們收到的最重要的一份警報。

它的核心結論，簡單而致命：

• AI正在“吃掉”自己的排泄物，并因此中毒。
• 真實世界的多樣性正在被遺忘，尤其是小眾、邊緣但至關重要的知識。
• 人類的原創內容，正在成為最后的“凈化器”和最稀缺的戰略資源。

什么是“模型坍塌”？一場數字世界的“近親繁殖”悲劇

想象一下，你用一臺復印機去復印一張照片。

第一次，效果很好。

但如果你拿著復印件，再去復印一次，圖像就會模糊一點。周而復始，用上一代的復印件去復印下一代，要不了幾次，你最終得到的，將是一張無法辨認的、布滿噪點的廢紙。

AI的“模型坍塌”就是這樣一個過程。

當第一代AI（比如GPT-4）用海量、高質量的人類互聯網數據訓練出來后，它開始產出大量內容，這些內容被發布到網上。

接著，下一代AI（比如未來的GPT-5）在抓取新的訓練數據時，不可避免地會把上一代AI創造的內容當作“學習資料”。

問題就出在這里——AI生成的內容，只是對真實世界數據的一種概率性模仿，它在模仿的過程中，必然會丟失掉一部分信息，尤其是那些不常見的、低概率的“尾部信息”。

就像復印件丟失了照片的細節。

一代又一代的AI，不斷學習著前輩們創造的、信息量遞減的“二手數據”，這個過程就如同數字世界的“近親繁殖”。每一代都會放大前一代的錯誤和偏見，同時丟棄掉更多真實世界的細節和多樣性。

最終，整個AI生態系統的“基因庫”會急劇萎縮，模型感知到的“現實”與真實世界嚴重脫節，徹底崩潰。

實驗揭示的真相：從“智者”到“瘋子”有多快？

這不只是理論推演。

來自英國牛津大學、劍橋大學等頂尖機構的研究者們，用Meta公司開源的OPT-125m語言模型進行了一場模擬實驗，并將結果發表在了《自然》雜志上。

他們首先用真實的人類語料（wikitext2數據集）訓練出第0代模型。

然后，他們用第0代模型生成的數據，去訓練第1代模型。再用第1代的產出，去訓練第2代……以此類推。

結果令人不寒而栗。

當模型迭代到第9代時，研究者向它輸入一段關于教堂建筑歷史的文字，希望它能續寫。這個被“近親繁殖”了九代的AI，給出了這樣一段匪夷所思的文字：

“……建筑。除了是世界上一些最大的黑尾長耳大野兔、白尾長耳大野兔、藍尾長耳大野兔、紅尾長耳大野兔、黃尾長耳大野兔的家園之外……”

它瘋了。

模型徹底忘記了原始任務的語境，陷入了毫無意義的、關于各種顏色“長耳大野兔”的詭異重復。

你可能會說，這是因為它完全沒接觸到真實數據。那如果在訓練數據里，始終保留一部分“新鮮血液”呢？

研究者也做了這個實驗。他們發現在每一代的訓練數據中，即使保留 10% 的原始人類數據，也僅僅是減緩了崩潰的速度。

衰退，依然不可避免。

AI為何會“忘記”？尾部數據的消失是關鍵

AI走向崩潰的關鍵，在于它率先遺忘了那些“尾部數據”。

什么是尾部數據？

在一個數據分布里，頭部是那些最常見、最高頻的信息，比如“天空是藍色的”“太陽從東方升起”。而尾部，則是那些小眾、罕見、低概率但同樣真實存在的信息。

比如，一個罕見的醫療病例、一種瀕危物種的習性、一個邊緣群體的文化傳統。

這些信息雖然不常出現，但它們構成了我們世界豐富性和復雜性的邊界。它們往往是創新、突破和系統韌性的來源。

而AI在學習AI的過程中，會本能地強化那些“主流”和“高概率”的模式，而逐漸忽略、削平那些“尾部”的棱角。因為在統計學上，它們“不重要”。

這對人類社會是極其危險的。

一個忘記了罕見病的醫療AI，可能會造成致命的漏診。一個只學習主流觀點、忘記了邊緣群體訴求的決策AI，可能會加劇社會的不公。

當AI的“視界”從一個充滿無限可能的球體，坍縮成一根只看得到主流觀點的直線時，它也就失去了真正的智能。

我們正在親手制造一個“信息繭房”喂給AI

過去，互聯網是一片由數十億人類共同耕耘的、充滿生物多樣性的“熱帶雨林”。

現在，AI內容生成器就像一種高效率的“超級物種”，正在這片雨林里瘋狂播撒同質化的“桉樹”。它們生長極快，迅速占領了大量空間，導致原生植物的多樣性急劇下降。

我們每個人，都能感受到這種變化。

搜索引擎的結果越來越重復，營銷號風格的文章千篇一律，社交媒體上的評論和回復也充滿了AI口吻的“標準答案”。

在“模型坍塌”理論被證實之前，我們或許只是抱怨信息質量的下降。現在我們才驚恐地發現——我們不僅是受害者，還是“共犯”。我們每一次對AI生成內容的傳播，都可能是在為下一代更“笨”的AI，提供一份有毒的口糧。

有人會問：難道不能用技術手段解決嗎？比如讓AI學會識別和過濾AI內容？

這就像一場軍備競賽，道高一尺，魔高一丈。更何況，在信息真假難辨的汪洋大海中，大規模地進行內容“溯源”，其成本和難度都超乎想象。

這場危機，正在把一個嚴峻的選擇題擺在我們面前。

“模型坍塌”的發現，并非宣判了AI的死刑，而是敲響了一記至關重要的警鐘。它告訴我們，真正驅動AI進步的，從來不是算力或算法，而是真實、多樣、高質量的人類數據。

在這場AI的淘金熱中，最寶貴的礦藏，不是代碼，也不是芯片，而是我們每一個普通人，基于真實生活和獨立思考所創造出來的一切。

你的每一次獨特表達，每一次非共識的提問，每一段源于親身經歷的分享——在未來，都可能成為防止AI“心智退化”、保持其與現實連接的“解毒劑”。

我們不再僅僅是技術的被動使用者，我們是AI賴以生存的真實世界本身。守護這份真實，就是守護我們共同的數字未來。

你是否也感受到了網絡上AI內容的“降智”？

附錄：

1. 研究報告發表于2024年7月24日的《自然》雜志。
2. 該現象被研究者命名為“模型坍塌”（Model Collapse）。
3. 實驗由英國牛津大學、劍橋大學等機構的研究人員共同完成。
4. 實驗中，一個完全由AI數據訓練的語言模型，在第9代時，開始生成大量無意義的重復內容，例如不斷列舉各種顏色的“長耳大野兔”（jackrabbits）。
5. 研究發現，即使在新一代的訓練數據中保留10%的原始人類數據，也只能減緩而無法完全阻止模型的性能衰退。

原文地址：??https://www.nature.com/articles/s41586-024-07566-y.pdf??

本文轉載自??草臺AI??，作者：RangerEX