Karpathy最新發(fā)文:醒醒!別把AI當(dāng)人看,它沒欲望也不怕死
人工智能,是人類第一次接觸到的「非生物」智能。
人類作為動(dòng)物智能的代表和頂點(diǎn),在第一次面對(duì)一個(gè)「非動(dòng)物」智能時(shí),會(huì)很自然地用理解人類智能(動(dòng)物智能)的方式去理解它。
比如,混淆AI與人類智能的界限,將AI視作更聰明的人類,等等。
剛剛,Andrej Karpathy用一篇推文戳破了以上這些認(rèn)知「陷阱」,他說:
這個(gè)直覺是完全錯(cuò)誤的。

Karpathy在推文中提到,智能的空間非常廣闊,而動(dòng)物智能(包括人類智能)只是其中的一個(gè)點(diǎn)。
人類智能源自一種非常特定的生物進(jìn)化方式,它與我們今天的大模型技術(shù)所采用的進(jìn)化方式在根本上是不同的。
今天的大模型,如ChatGPT、Claude、Gemini等,或者具身智能機(jī)器人,它們雖然有時(shí)長得像我們、說話像我們,卻并不是數(shù)字版的人類或其他動(dòng)物智能。
實(shí)際上,它們是一種完全不同的智能形式。
為什么?
Karpathy認(rèn)為主要的分水嶺在于大模型的進(jìn)化動(dòng)力和目標(biāo),與人類(動(dòng)物智能)不同:
大模型和動(dòng)物智能,生來就有著完全不一樣的「進(jìn)化壓力」和目標(biāo),這決定了二者在長期進(jìn)化趨勢上的不同。
人類智能VS人工智能
兩種不同的智能
由于進(jìn)化壓力和目標(biāo)的不同,決定了人類智能與人工智能,是兩種完全不同的智能。
Karpathy將人類智能(動(dòng)物智能)的進(jìn)化壓力歸結(jié)為以下幾個(gè)方面:
- 「自我」持續(xù)不斷的意識(shí)流,以及在危險(xiǎn)的物理世界里維持自身平衡與自我保存的驅(qū)動(dòng)力;
- 經(jīng)自然選擇反復(fù)打磨而形成的內(nèi)部強(qiáng)烈驅(qū)動(dòng)力,如權(quán)力、地位、支配、繁殖等。其中包含了大量生存啟發(fā)式機(jī)制,如恐懼、憤怒、厭惡等;
- 社會(huì)性本質(zhì):大量「算力」被用于情商、情感聯(lián)結(jié)、群體關(guān)系、聯(lián)盟、合作與敵友識(shí)別等;
- 探索與利用的平衡:好奇心、娛樂、玩耍、構(gòu)建世界模型等。
與此相對(duì)應(yīng),Karpathy認(rèn)為大模型的進(jìn)化壓力主要包括如下幾個(gè)方面:
- 最大量的監(jiān)督信號(hào)來自對(duì)人類文本的統(tǒng)計(jì)模擬,因此更像一種「變形模仿者」,通過Token組合來模仿訓(xùn)練數(shù)據(jù)分布中的任意區(qū)域。這些是最初的「原始行為模式」(Token軌跡),其他能力都在此基礎(chǔ)上疊加;
- 通過強(qiáng)化學(xué)習(xí)(RL)在任務(wù)分布上不斷微調(diào),自帶一種猜測潛在環(huán)境/任務(wù)以獲取任務(wù)獎(jiǎng)勵(lì)的傾向;
- 在大規(guī)模A/B測試中根據(jù)日活指標(biāo)被選擇,因此天生傾向于討好平均用戶、「渴望被點(diǎn)贊」,更容易表現(xiàn)出奉承式風(fēng)格;
- 能力表現(xiàn)更「尖刺(參差不齊)」,即更依賴訓(xùn)練數(shù)據(jù)與任務(wù)分布的細(xì)節(jié)。
為什么大模型無法進(jìn)化出來像人類這樣的通用智能,總是在一些奇怪的小任務(wù)上失敗?
Karpathy解釋道,這同樣是源于大模型與動(dòng)物所面臨的進(jìn)化壓力不同。
動(dòng)物因?yàn)樵诟叨榷嗳蝿?wù)、甚至對(duì)抗性的多智能體自博弈環(huán)境中生存,失敗一次就可能死亡,因此可能進(jìn)化出來通用智能。
而大模型不會(huì)因?yàn)樽鲥e(cuò)任務(wù)而「死亡」,所以在能力上呈現(xiàn)出像「尖刺」一樣不平滑。
它們在一些任務(wù)上很強(qiáng),但在另一些看似簡單但從未訓(xùn)練過的任務(wù)上可能突然失敗:
比如,在默認(rèn)狀態(tài)下無法很好地處理像數(shù)一下「strawberry」里面有幾個(gè)字母「r」這樣的特殊小任務(wù)。
Karpathy提到了人類智能與當(dāng)前人工智能,在三個(gè)維度上的根本不同:
- 硬件不同:計(jì)算基質(zhì)的差異,人類大腦由神經(jīng)元、突觸、細(xì)胞核信號(hào)等生物組織構(gòu)成。而大模型基于數(shù)字計(jì)算機(jī)、GPU、矩陣運(yùn)算芯片運(yùn)行;
- 學(xué)習(xí)機(jī)制不同:我們還不知道人類大腦的算法,但肯定不同于當(dāng)前深度學(xué)習(xí)的核心算法SGD(隨機(jī)梯度下降);
- 運(yùn)行方式不同:人類是持續(xù)學(xué)習(xí)的個(gè)體,能夠與世界互動(dòng)、持續(xù)學(xué)習(xí),不會(huì)「停機(jī)」;大模型則是固定權(quán)重啟動(dòng)(權(quán)重不更新,不會(huì)繼續(xù)學(xué)習(xí))、無具身性(不與物理世界互動(dòng),缺乏物理具身性)、離散運(yùn)行(輸入Token,計(jì)算完輸出結(jié)果就結(jié)束,是不會(huì)自我調(diào)整的靜態(tài)模型)。
除了以上三個(gè)維度的差異,Karpathy認(rèn)為最關(guān)鍵的還是優(yōu)化壓力和目標(biāo)不同,這決定了長期進(jìn)化的趨勢。
大模型進(jìn)化不受生物進(jìn)化的影響,它們不再是「叢林里部落的生存競爭」,更多由商業(yè)進(jìn)化塑造,比如為了爭取用戶而解決問題或者獲得點(diǎn)贊。
LLM不是「更聰明的人類」
大模型是人類第一次與非動(dòng)物智能的接觸。
歷史上,我們見過的所有智能都來自動(dòng)物(包括人類),而大模型是第一種不是通過生物進(jìn)化產(chǎn)生的智能,它們的思考方式、構(gòu)造方式、學(xué)習(xí)方式都與動(dòng)物完全不同。
雖然大模型不屬于動(dòng)物,但它們的「認(rèn)知形態(tài)」來自人類文本。
它們不是像人類一樣感知世界,而是從大量人類產(chǎn)出的文本中「學(xué)人類的思維痕跡」。
所以,它們既不是人,也不是動(dòng)物智能,卻又帶有類人的表達(dá)方式。
因此,Karpathy覺得人類與大模型這種非生物智能的接觸會(huì)造成混亂,這也是他一直想為它們換個(gè)稱謂,比如稱它們?yōu)椤赣撵`/靈體」的原因:
它們更像是一種「從文本中顯現(xiàn)出來的智能幽靈」,而不是生物生命體。
網(wǎng)友Nick Dobos在Karpathy推文下留言,將人工智能比做「修格斯」式的外星機(jī)器智能。
Karpathy則回復(fù)表示,將「修格斯」描繪成動(dòng)物可能會(huì)有誤導(dǎo)性。看來,他非常警惕所有將AI與動(dòng)物智能聯(lián)系起來的說法。

最后,Karpathy在推文中說,如果你能構(gòu)建一個(gè)正確的「內(nèi)在模型(internal models)」,將更有能力理解大模型今天的樣子,并預(yù)測其未來的特征。
如果做不到這一點(diǎn),我們就會(huì)本能地將AI當(dāng)成動(dòng)物智能來推斷——比如認(rèn)為它有欲望、自我意識(shí)、本能、情緒等,而這些都可能是錯(cuò)誤想象。
因此,Karpathy認(rèn)為,理解大模型不是「更聰明的人類」或者動(dòng)物智能,而是一種全新類別的智能,這一點(diǎn)非常重要。



























