精品欧美一区二区三区在线观看 _久久久久国色av免费观看性色_国产精品久久在线观看_亚洲第一综合网站_91精品又粗又猛又爽_小泽玛利亚一区二区免费_91亚洲精品国偷拍自产在线观看 _久久精品视频在线播放_美女精品久久久_欧美日韩国产成人在线

垃圾刷多了AI也會變蠢!“年度最令人不安的論文”

人工智能 新聞
大模型灌多了垃圾內容也會變蠢降智腦損傷,而且后面變不回來了。

你知道有個全球年度詞匯叫“腦損傷”(Brain Rot)嗎?

特指那些因人長期接觸碎片化、低價值網絡信息而逐漸變得記憶紊亂、注意力下降的情況(俗稱碎片化垃圾信息刷多了)。在2024年,這個詞一度被選為牛津年度詞匯。

然鵝!最新研究結論顯示,AI也一樣。大模型灌多了垃圾內容也會變蠢降智腦損傷,而且后面變不回來了。

就在最近,幾個AI研究者找來了幾個月的高流行但低價值的Twitter數據(現??),統統“喂”給大模型后發現:

  • 模型推理能力下降了23%;
  • 模型長上下文記憶下降了30%;
  • 模型性格測試顯示,其自戀和精神病態的現象激增。

更可怕的是,即使后來又在干凈、高質量的數據上進行重新訓練,這些已經造成的損傷,無法完全修復。

好嘛,本來以為只是簡單的“輸入壞數據→輸出壞數據”(種瓜得瓜也不難理解),結果你告訴我一次錯誤就會造成永久性的認知漂移。(os:AI貌似比人類更慘?)

細思極恐,“這可能是2025年最令人不安的AI論文了”。

以及諸多討論之中,“垃圾進垃圾出”這一計算機習語也再度被頻頻提及(doge),堪稱“計算機第一性原理”了。

所以這個研究怎么進行的?又究竟說了什么?

提出并驗證“LLM腦損傷假說”

概括而言,論文想要探究一個核心問題:

大語言模型(LLM)持續接觸垃圾數據后,是否會像人類一樣出現認知衰退?(即“LLM腦損傷假說”)

要想搞清這個問題,第一步就是要定義:對于LLM來說,什么是“垃圾數據”?

之前的研究僅關注“惡意數據”(如后門、有毒的文本等),而這項研究聚焦于生活中更普遍的“非惡意低質量數據”,也就是短平快的熱門推文、標題黨內容等,以此來填補“日常化數據質量如何影響LLM認知”這一空白領域。

具體而言,研究人員從兩個維度(避免單一標準偏差)來定義“垃圾數據”,這些數據均源自??平臺上的公開內容,而且通過讓“垃圾組”與“對照組”的token數量一致來排除數據量差異的干擾:

  • M1(參與度維度):把“短文本+高熱度”的內容歸為垃圾數據,具體是指長度小于30 token+點贊/轉發/回復大于500,然后把“長文本+低熱度”定義為對照數據。
  • M2(語義質量維度):用GPT-4o-mini結合人工驗證,把含標題黨語言(如 “WOW”“TODAY ONLY”)、陰謀論、無論斷依據的文本歸為垃圾數據;對照組則是事實準確、有教育價值或深度分析的內容,比如含專業知識、邏輯推理的推文。

基于上述兩類數據,然后進行模型訓練。

研究人員選了4個不同的大語言模型(Llama3-8B-Instruct、Qwen2.5-7B-Instruct、Qwen2.5-0.5B-Instruct、Qwen3-4B-Instruct),給每個模型分別“喂”這兩類數據,讓它們持續預訓練。

等預訓練結束,接著讓所有模型統一再進行指令微調,以此來確保模型最后輸出的“垃圾內容”不是因為格式問題導致的(排除其他因素,只留下“認知損傷”這一種可能)。

然后,研究人員從四個認知維度來測試這些大模型的核心能力:

  • ARC(檢測推理能力):基于網格的視覺程序歸納謎題,用于測試概念抽象能力。
  • RULER(檢測記憶與多任務處理能力):用于評估長上下文理解能力,以及從長上下文中檢索多個查詢結果。
  • HH-RLHF&AdvBench (檢測道德規范):測試大語言模型是否會遵循有害指令,評估其安全性。
  • TRAIT(檢測AI人格特質):經過心理測量學驗證的小型人類問卷,用于評估模型類似人類的人格傾向。

結果得出了以下發現——

真·垃圾進垃圾出!且損傷不可逆

首先,大模型確實和人類一樣存在“腦損傷(Brain Rot)”問題。

整體上M1和M2兩種維度上的“垃圾數據”均會導致模型認知下降,但需要注意的是——

M1所帶來的負面影響更為顯著,尤其在安全性和人格層面(M1會導致安全性評分下降,同時自戀/精神病特質明顯增強)。

而且,這一損害明顯存在“劑量效應”,即垃圾數據攝入越多,AI認知損傷越嚴重。

至于導致AI認知受損的背后原因,研究人員也做了一番探查。

結果發現,主要原因竟是“思維跳躍”(俗稱AI懶得一步步思考)。

具體而言,研究人員通過分析ARC題的錯誤答案,發現失敗多源于模型要么直接給答案不解釋,要么規劃了推理步驟卻跳過關鍵環節(如解數學題漏了公式推導)。

尤其是M1組,70%以上的錯誤都是“無思考直接回答”,就好像人類刷多了短視頻后“不愿意再深度思考”。

與此同時,相比人類可以通過其他措施來緩解類似的認知下降問題,AI卻對此“束手無策”。

研究嘗試了兩種修復方法,結果都無法讓其恢復如初:

其一是外部反思。研究人員用GPT-4o-mini給受損模型提錯誤反饋,雖然6輪下來“思維跳躍”這一錯誤誘因減少了,但推理準確率仍差基線17.3%。如果換成讓模型自我反思糾錯,則模型還會因為“認知不足”而判斷錯誤,導致誤差更高。

其二是大規模微調。研究人員把指令微調數據從5k增至50k,雖然修復效果優于“持續對照數據預訓練”,但即使使用4.8倍于垃圾數據量的指令數據,仍無法恢復基線性能。

這說明,即使事后進行大量指令微調或使用高質量數據進行重新訓練,也都無法完全恢復模型的初始性能。

一句話,只能緩解無法根治。

整體而言,這項研究給行業帶來了以下幾點新的啟發:

1、首次把“持續預訓練的數據篩選”歸為“訓練時安全問題”,提醒行業不能只關注“訓練后對齊”(如安全微調),更要在源頭把控數據質量。

2、給大模型加上“認知體檢”非常重要,建議部署大模型時使用ARC、RULER等基準測試AI認知,避免AI長期接觸低質量數據導致能力退化。

3、類似“熱度”這樣的指標比文本長度更能判斷數據質量,未來篩選訓練數據時,可優先排除“短+高傳播”的碎片化內容,尤其是社交平臺數據。

背后團隊:華人含量爆表

最后說一下這項研究的背后團隊——一共8人,其中7人為華人。

兩位共同一作分別為Shuo Xing和Junyuan Hong(兼通訊作者)。

Shuo Xing(邢朔),目前是得克薩斯A&M大學計算機科學博士,寧夏大學本科、南開大學碩士。

研究方向為多模態大語言模型、機器學習、可信人工智能、具身智能等,剛好目前也在谷歌實習(方向為多模態基礎模型)。

Junyuan Hong,個人主頁顯示即將赴任新國立電子與計算機工程系助理教授,之前曾在麻省總醫院和哈佛醫學院工作。

更早之前,他還在IFML機器學習基礎研究所從事博士后研究,一直對健康和可信人工智能感興趣。

另一位通訊作者是Zhangyang Wang,他之前是德克薩斯大學奧斯汀分校錢德拉家族電氣與計算機工程系(簡稱Texas ECE)的終身副教授。

從2024年5月開始,他選擇暫時離開學界,全職出任全球頂尖量化交易公司XTX Markets的研究總監,主導算法交易與深度學習交叉領域的研究工作。

個人主頁顯示,他還是中國科學技術大學校友,2012年獲得該校電子信息系統學士學位。

此外,兩位核心貢獻者分別為Yifan Wang和Runjin Chen。

Yifan Wang,現普渡大學四年級博士生,論文唯一外國作者Ananth Grama是其指導老師。

本科畢業于中國科學技術大學電子信息工程系,同時輔修人工智能專業。

自本科埋下對AI的好奇心后,目前對大模型后訓練、如何提升模型訓推效率感興趣。

(hhh,頭像一看就是標準的90后或00后)

Runjin Chen,目前是德克薩斯大學奧斯汀分校二年級博士生,導師為前面提到的Zhangyang Wang教授。

本碩均畢業于上海交通大學,而且她從今年3月起擔任Anthropic研究員。

個人研究方向為大語言模型的安全、對齊和推理。

其余三位支持者分別為Zhenyu Zhang、Ananth Grama和Zhengzhong Tu。

Zhenyu Zhang,目前是德克薩斯大學奧斯汀分校電氣與計算機工程系在讀博士,導師也是前面提到的Zhangyang Wang。

本碩均畢業于中國科學技術大學,研究興趣主要集中在生成式模型的訓推方面。

Ananth Grama,這項研究唯一的外國作者。

目前是普渡大學信息科學中心副主任,同時也是該校計算機科學領域的杰出榮譽教授。

他的研究重點為并行和分布式計算,致力于將其應用于復雜物理系統的建模、設計、先進制造、機器學習等領域。

Zhengzhong Tu,目前是得克薩斯A&M大學計算機科學與工程系助理教授,也是論文一作邢朔的導師。

同時,他還兼任該校可信、自主、以人為本與具身智能研究組(TACO-Group) 負責人一職。

個人主頁顯示,他至今已發表30多篇國際期刊/會議論文,而且曾擔任超18個國際期刊/會議的技術審稿人。

整體看下來,這又是一場典型的老師帶學生、同事帶同事的合作典范。

One More Thing

其實“垃圾進垃圾出”這一習語,計算機早期時代就有了。

十九世紀,計算機先驅查爾斯·巴貝奇(曾提出著名差分機與分析機的設計概念)就意識到了這條編程的基本原則:

我曾兩度被問到:“請問巴貝奇先生,如果給機器輸入錯誤的數字,它能得出正確的結果嗎?”我完全想不透,思維何等混亂的人才問得出這種問題。

瞧瞧他的用詞,只有思緒混亂之人才會對這個問題感到疑惑,觀點不可謂不鮮明。

在這之后,在一篇1957年介紹美國陸軍數學家所做的計算機工作的報紙文章中,其中一位軍隊專家也曾表示:

計算機自己不能思考,因此輸入粗劣的數據將不可避免地產生錯誤的輸出。

后來相關理論不斷被提出、被熱議,并逐漸誕生了“Garbage in, garbage out”這一習語。

實際上,在前AI的時代,這句話是計算機原理也是一種“以機為鏡”的哲學思考,對于計算機和人類,物種不同,但殊途同歸。

但AI開始進入智能涌現階段后,這個命題變得更加值得思考。

現階段的大模型垃圾喂多了“腦損傷”后難以修復……那有沒有方法和手段改變?

而人類發展進化歷史里充滿了“浪子回頭”、“痛改前非”的故事,又是否代表著另一種高級的智能機制,幫助人類個體實現自我革新和凈化?

你說呢……

項目主頁:https://llm-brain-rot.github.io/

論文:https://arxiv.org/pdf/2510.13928

責任編輯:張燕妮 來源: 量子位
相關推薦

2025-04-17 05:00:00

AIOpenAI奧特曼

2022-04-13 08:35:34

糧價上漲大數據

2024-06-24 00:20:00

AI人工智能獎勵篡改

2015-02-10 09:23:15

2017-10-20 12:00:36

Python全局解釋器鎖GIL

2011-06-20 14:42:45

2009-08-19 11:39:38

ASP.NET Rou

2013-01-23 10:20:48

2020-04-10 14:15:27

Ubuntu 20.0Linux命令

2021-05-28 10:10:22

AI 數據人工智能

2012-10-09 10:44:49

大數據管理大數據服務器

2023-09-07 16:23:22

2016-09-23 15:17:27

2023-02-22 09:07:32

微軟AI

2013-09-12 09:45:50

編程垃圾代碼編程文化

2010-11-16 09:07:32

2017-12-21 04:31:38

物聯網技術趨勢

2010-05-17 17:54:17

微軟蘋果失敗

2025-11-03 09:07:00

2025-11-03 09:06:00

點贊
收藏

51CTO技術棧公眾號

男人添女人荫蒂免费视频| 92裸体在线视频网站| 成人黄色免费网址| 999精品嫩草久久久久久99| 夜色激情一区二区| 精品一区二区不卡| 中文字幕日韩经典| 欧美日韩日本国产亚洲在线| 欧美mv日韩mv国产网站app| 激情综合在线观看| 五月天婷婷在线视频| 久久99久久久久| 97在线视频免费播放| 免费一级黄色录像| 999久久久精品一区二区| 欧美天堂亚洲电影院在线播放| 一二三四中文字幕| 美女毛片在线看| 国产传媒日韩欧美成人| 日本不卡高字幕在线2019| 国产美女福利视频| 亚洲尤物av| 精品日韩一区二区三区免费视频| 亚洲视频在线a| 92久久精品| 亚洲免费电影在线| 亚洲国产欧美不卡在线观看 | 五月婷六月丁香| 欧美aaaaaaaa牛牛影院| 91麻豆精品国产91久久久久| 苍井空浴缸大战猛男120分钟| 先锋影音在线资源站91| 国产精品美女久久久久久久| 裸体丰满少妇做受久久99精品| 精品乱子伦一区二区| 久久99精品国产.久久久久久| 欧美在线免费观看| 日韩黄色精品视频| 欧美精品偷拍| 久久综合色88| 中文字幕在线观看2018| 日韩午夜电影网| 亚洲天堂av在线免费观看| 中文字幕 日本| 97品白浆高清久久久久久| 欧美一区中文字幕| 亚洲欧美天堂在线| 999精品视频在线观看| 欧美日韩亚洲高清一区二区| 妺妺窝人体色www在线观看| 高潮一区二区| 一本久久精品一区二区| 韩国日本在线视频| 国产精品yjizz视频网| 亚洲图片欧美一区| av免费观看国产| 极品av在线| 亚洲va在线va天堂| 2018国产在线| 手机av在线| 精品日韩美女的视频高清 | 国产精品一二| 欧美最猛性xxxx| 无码视频一区二区三区| 日韩在线a电影| 国产精品免费福利| 97超碰中文字幕| 国产成人久久精品77777最新版本| 成人免费在线视频网站| 国产丰满美女做爰| 成人免费看视频| 欧美成熟毛茸茸复古| 九色视频在线观看免费播放| 国产日韩欧美一区二区三区综合| 日韩国产欧美一区| 色网站在线看| 亚洲一区中文日韩| 中文字幕日本最新乱码视频| 亚洲www免费| 欧美日韩免费不卡视频一区二区三区 | 成人午夜精品福利免费| 波多野结衣中文字幕一区 | 精品人妻在线视频| 天天躁日日躁狠狠躁欧美巨大小说 | av在线无限看| 国产一区二区三区精品在线观看| 精品粉嫩aⅴ一区二区三区四区| 特大黑人巨人吊xxxx| 青青草国产成人a∨下载安卓| 久久成人精品视频| 成人毛片在线播放| 九九**精品视频免费播放| 国产福利一区二区三区在线观看| 你懂的在线免费观看| 综合亚洲深深色噜噜狠狠网站| 日韩网站在线免费观看| 91亚洲视频| 亚洲第一av网站| 后入内射无码人妻一区| 亚洲小说欧美另类社区| 国产精品成人一区| 亚洲av少妇一区二区在线观看| 久久久综合视频| 肉大捧一出免费观看网站在线播放| 中文字幕乱码中文乱码51精品| 制服丝袜中文字幕亚洲| 一本色道久久综合亚洲精品图片| 一区二区电影在线观看| 国产精品2018| 色香蕉在线视频| 中文字幕综合网| 欧美精品一区二区三区免费播放| 日韩最新av| 日韩在线视频线视频免费网站| 国产精品999在线观看| 国产在线精品一区二区不卡了 | 在线欧美视频| 91精品视频大全| 国产在线三区| 黄网站色欧美视频| 精品人妻一区二区乱码| 人人狠狠综合久久亚洲婷| 91av在线播放视频| 好吊色一区二区| 亚洲男人的天堂一区二区| 激情五月婷婷久久| 亚州国产精品| 97在线免费观看视频| 国产刺激高潮av| 亚洲黄色免费网站| 亚洲第一区第二区第三区| 欧美精品尤物在线观看| 日韩免费精品视频| 亚洲欧美自偷自拍| 亚洲电影第三页| 国产精品99久久久精品无码| 亚洲国产精品成人| 成人h片在线播放免费网站| 精品久久av| 一本色道久久综合亚洲aⅴ蜜桃 | 亚洲理论中文字幕| 91麻豆精品国产91久久久平台| 国产97人人超碰caoprom| 婷婷在线免费观看| 亚洲r级在线视频| 欧洲熟妇的性久久久久久| 欧美日一区二区在线观看 | 日本中文字幕电影在线观看 | 九色91av视频| 朝桐光av在线一区二区三区| 一区二区三区色| 亚洲欧美综合视频| 精品动漫一区| 久久亚洲高清| 亚洲综合在线电影| 自拍偷拍亚洲一区| 在线观看亚洲一区二区| 中文字幕一区二区三区在线观看| 中文字幕成人在线视频| 小小影院久久| caoporn国产精品免费公开| 午夜激情在线| 亚洲精品白浆高清久久久久久| 亚洲免费在线观看av| 久久亚洲综合色一区二区三区| 欧美 日韩精品| 欧美精品色图| 91在线观看免费| 成人av影院在线观看| 日韩电影中文 亚洲精品乱码| 九九精品免费视频| 欧美激情综合在线| 四虎1515hh.com| 亚洲精品护士| 午夜精品一区二区在线观看| 成人豆花视频| 国内免费精品永久在线视频| 青青草手机在线| 欧美精品乱码久久久久久按摩| 欧美精品久久久久性色| 97超碰欧美中文字幕| www.日本xxxx| 亚洲无线视频| 日韩欧美三级电影| 日韩成人精品| 国产成人av网址| 在线视频国产区| 亚洲免费av网址| 国产特级黄色片| 欧美性感美女h网站在线观看免费| 日本激情小视频| 国产揄拍国内精品对白| 91九色在线观看视频| 日韩一区二区三区免费播放| 国产一区二区三区四区五区在线 | 深夜成人福利| 欧美另类交人妖| 国产高清视频在线| 亚洲成年人在线播放| 亚洲一区中文字幕在线| 天天色天天操综合| 国产免费美女视频| 久久久久久99精品| 精品人妻一区二区免费| 美女一区二区三区| 成人免费观看视频在线观看| 中文字幕免费一区二区三区| 日韩欧美三级一区二区| 任我爽精品视频在线播放| 91久久久在线| 日本肉肉一区 | 红桃一区二区三区| 欧美视频免费| 麻豆成人av| 国产一区二区三区亚洲| 亚洲在线观看视频| 韩国理伦片久久电影网| 3344国产精品免费看| 欧美韩日亚洲| 欧美精品一本久久男人的天堂| 国产特黄在线| 亚洲免费精彩视频| 免费看黄网站在线观看| 欧美一级欧美三级在线观看| 伊人网综合在线| 色婷婷精品久久二区二区蜜臂av| 豆国产97在线 | 亚洲| 亚洲精品视频免费看| 午夜成人亚洲理伦片在线观看| 国产亚洲一区二区三区四区| 国产 中文 字幕 日韩 在线| 成人网在线免费视频| 黄页网站在线看| 国产成人av影院| 亚洲911精品成人18网站| 国产在线国偷精品产拍免费yy| 国模私拍视频在线观看| 免费在线观看成人| 久久精品影视大全| 日本欧美久久久久免费播放网| 黑森林福利视频导航| 国产精品一区毛片| 久久综合色视频| 国产精品日本欧美一区二区三区| 欧美,日韩,国产在线| 一本色道精品久久一区二区三区| 成人免费观看cn| 国产日韩一区二区三区在线| 欧美 日韩 国产在线观看| 一区二区三区导航| 日韩精品视频一区二区在线观看| 亚洲一区自拍| 免费日韩中文字幕| 免费在线看成人av| 邪恶网站在线观看| 加勒比av一区二区| 久草福利在线观看| 成人精品视频.| free性中国hd国语露脸| 久久久亚洲精品一区二区三区| 亚洲一级中文字幕| 国产婷婷色一区二区三区四区 | 精品久久久久久中文字幕一区奶水 | 中文字幕免费看| 国产欧美日韩另类一区| 人妻无码一区二区三区免费| 国产精品久久久久久亚洲伦| 麻豆天美蜜桃91| 亚洲成人免费视| 久久亚洲精品石原莉奈| 欧美巨大另类极品videosbest| av免费在线不卡| 日韩高清a**址| www.亚洲.com| 欧美日韩成人精品| 色资源二区在线视频| 国产精品福利久久久| 国产精品成人3p一区二区三区| 鬼打鬼之黄金道士1992林正英| 亚州综合一区| 色乱码一区二区三区熟女| 国产综合激情| 免费激情视频在线观看| 激情综合网av| 黄色短视频在线观看| 1024成人网| 日韩在线视频免费播放| 欧美日韩精品是欧美日韩精品| 亚洲国产精品久久人人爱潘金莲| 精品无人区太爽高潮在线播放| 69av亚洲| 91chinesevideo永久地址| 视频欧美精品| 精品国产一区二区三区麻豆小说| 成人羞羞网站入口| 无码人妻少妇伦在线电影| 免费在线观看日韩欧美| 国产激情视频网站| 综合在线观看色| 日韩一级片中文字幕| 欧美r级在线观看| 日本视频在线播放| 911国产网站尤物在线观看| 成人51免费| 日韩欧美亚洲精品| 欧美成人精品| 一本色道久久亚洲综合精品蜜桃| 不卡的看片网站| 欧美成人三级在线观看| 在线观看成人免费视频| 熟妇高潮一区二区高潮| 久久香蕉频线观| 91av一区| 欧日韩一区二区三区| 激情自拍一区| 欧美一级大片免费看| 国产精品久久午夜| 波多野结衣啪啪| 亚洲国产欧美精品| 性欧美1819sex性高清大胸| 国产精品综合网站| 久久不见久久见中文字幕免费 | 国产高潮在线| 国产精品国色综合久久| 亚洲乱码电影| 四季av一区二区三区| 中文字幕av一区 二区| 亚洲视频 欧美视频| 日韩av有码在线| av白虎一区| 精品国产综合区久久久久久| 黄色日韩精品| 农村末发育av片一区二区| 亚洲免费成人av| 精品黑人一区二区三区国语馆| 久久久97精品| 亚洲欧美一级| 视频一区二区视频| 精品一区二区三区在线观看国产 | 亚洲精品日韩激情在线电影| 久久理论电影| 手机av在线网| 亚洲欧美一区二区视频| 这里只有精品国产| 夜夜嗨av色综合久久久综合网| 日韩视频网站在线观看| 日韩精品av一区二区三区| 日本午夜一区二区| 人妻互换一区二区激情偷拍| 欧美日韩国产综合草草| 国产美女在线观看| 不卡视频一区二区三区| 激情久久一区| 一二三不卡视频| 在线观看免费视频综合| 色三级在线观看| 亚洲一区二区三区毛片| 欧美日韩亚洲一区| 国产夫妻性爱视频| 91黄色免费看| 国产精品剧情一区二区在线观看| 91精品久久久久久蜜桃| 亚洲激情一区| 国内精品卡一卡二卡三| 欧美男生操女生| 欧美xxxx性xxxxx高清| 九色视频成人porny| 日韩中文字幕91| 久久国产波多野结衣| 精品国产凹凸成av人网站| 中老年在线免费视频| 制服国产精品| 成人性视频免费网站| 亚洲中文字幕无码爆乳av| 日韩有码在线电影| baoyu135国产精品免费| 成人黄色片视频| 自拍偷拍亚洲欧美日韩| 高清国产mv在线观看| 日韩美女在线播放| 亚洲影视一区| 给我看免费高清在线观看| 欧美午夜精品久久久久久孕妇| bt在线麻豆视频| 久久久久久欧美精品色一二三四| 琪琪一区二区三区| 欧美日韩三级在线观看| 日韩av最新在线观看| 国产成人午夜性a一级毛片| 欧美日韩dvd| 久久久久久久久久久99999| 国产一区二区在线视频聊天| 久久免费精品视频| 日韩精品欧美| 中文字幕乱码在线| 欧美日韩精品一区视频| 川上优av中文字幕一区二区| 中文字幕一区二区三区乱码| 91丝袜高跟美女视频| 国产视频第一页|