加入Meta超級智能實驗室后，畢樹超首次發聲：大多數人可能低估了AI的影響！

十年前，他非常懷疑AGI，但在過去十年中，他逐漸接受了AGI，日漸篤定，甚至宣稱：2025，AGI已來。

上個月，他在哥倫比亞大學和哈佛大學就人工智能發表了兩次演講。

許多參加的人都后來聯系他，聲稱這次演講改變了他們的AI觀念。

在題為《推進硅基智能前沿：過去、開放問題與未來》的演講中，畢樹超系統闡述了過去15年的技術進展、當前待解難題以及未來發展趨勢

目前，他在Meta從事強化學習/后訓練/智能體研究。之前，他在OpenAI領導多模態研究；他還是YouTube Shorts的主要負責人。

他本科從浙江大學數學專業畢業，之后在加州大學伯克利分校獲得統計學碩士和數學博士學位。

AGI曙光

最近，David Silver等人發表了《Welcome to the Era of Experience》。

他們的核心觀點是：高質量的人類數據非常稀缺。

盡管人類文明已有幾千年，但真正積累的高質量數據并不多，而且大部分文本快消耗殆盡。

所以問題是：如何生成更多的數據？

答案可能在于人類本身。人類的數據來源于人腦的思考，以及從真實環境中獲得的反饋和獎勵。

算力正在變得越來越廉價，計算機與環境的交互或許可自動生成新的知識與數據。這種方式將可能比人類自身產生數據的速度更快。

這也是為什么畢樹超如此看好通用人工智能（AGI）和超人工智能（Artificial Superintelligence，ASI）的原因。

他分享了個人對AGI研究的心路歷程。

一開始對通用人工智能持懷疑態度，因為這個領域存在大量炒作。

對他個人來說，最大的障礙是他曾堅定地相信：人腦是特別的，人類智能是獨一無二的。

畢竟，目前許多技術，從數學角度來看，只不過改進了Tensor運算和梯度優化，本質上并不復雜。他不禁懷疑：人類真的那么難以復制嗎？

但隨著對AI理解的加深，他開始意識到：模擬人腦的方式不止一種。如果能夠用計算機模仿人類的學習方式，那為什么不這樣做呢？

這就是他如今更加相信AGI的原因：

一方面，也許大腦并不是獨一無二的，它只是生物進化的結果。雖然復雜，但歸根結底它也不過是一臺「生物計算機」，并不比硅基計算機更神秘。

另一方面，也許真正關鍵的因素不是結構的復雜程度，而是系統是否具備足夠的規模。

AI雙城記

在哥倫比亞大學，他追溯了人工智能（AI）的思想根源。

這一切都始于1948-1950年左右。

當時，Alan Turing提出了一個問題：機器能思考嗎？

圖靈提出，人工智能不應試圖模仿成人的大腦（包含復雜的經驗和偏見），而應設計一個簡單的模型，盡量減少人為預設的結構，讓模型通過數據自主學習。

畢樹超對觀眾說：「這正是機器學習的核心。你構建一個幾乎不含人類先驗知識的系統，讓它從數據中學習。」

他重點講了自監督學習和強化學習。

他回顧了自監督學習、深度網絡以及像Transformer這樣的里程碑式架構的興起。

他展示了計算能力和數據規模的提升（而非人工編碼的知識）如何帶來性能的飛躍。

自監督學習

2012年，出現了AlexNet。

基本上可以說，這是第一個大規模深度學習模型，使用了GPU和大量數據。

AlexNet錯誤率令人驚嘆，性能之好史無前例。

從中，大家得到了一個啟示：只要有足夠的數據和計算能力，神經網絡就會超越人類過去幾十年手工設計的視覺算法。

在當時，對于從事視覺研究的研究人員來說，是一場災難，幾十年付諸東流。

這重新喚起了人們對神經網絡的興趣，深度學習革命開始了。

大多數人認為2012年標志著深度學習革命的開始。

然后到了2013年，谷歌發表了Word2Vec。

簡單來說，「Word2Vec」用一個嵌入向量，來表示單詞。

從此，單詞可以進行算術運算，比如「king-man=queen-woman」。

向量運算竟然能捕捉語義關系！更關鍵的是，這些詞嵌入在下游任務中表現驚人。

這引發了另外兩個趨勢：

（1）Word2Vec演變到一切皆可向量化（everything2Vec）。

（2）強化了計算+數據的優勢，這種結合遠比歸納偏差表現要好。

這回應了圖靈的設想：我們不想模擬成人的大腦，這意味著我們不希望在模型中加入人類的歸納偏差。

2014年，生成模型GAN出現了。

GAN在生成領域石破天驚，但與自監督學習關系不大

2015年，深度學習「加速器」Adam優化器已經誕生了，開始流行。

它標準化了訓練流程，終于不用再手工調參了！特別適合處理海量數據和稀疏梯度，直到今天大多數優化器都是Adam的變種。

同年的ResNet更是神來之筆！

當時深層網絡訓練就像走鋼絲——梯度要么消失要么爆炸。而ResNet的「跳躍連接」（skip connection）就像給神經網絡裝了電梯：淺層特征可以直接跨層傳輸。

殘差連接讓優化變得非常容易：右圖(a)沒有殘差連接時崎嶇不平，(b)引入殘差后如瓷碗一般平滑。

如果采用這種結構，可以確保學習起來容易得多。而且這種技巧幾乎適用于所有網絡架構。這就是為什么現在幾乎所有網絡都采用這種結構。

不過當年，很多數學背景的人都質疑過深度學習中的這類技巧。

豁然開朗

演講的前一天，畢樹超和物理教授聊天才意識到：在低維空間建立的統計直覺，在萬億參數的高維空間根本不適用！

原因是大家都生活在低維空間中，低維度的直覺難以推廣到高維空間。

畢樹超花了好幾年才克服了這些錯誤的直觀。

他之所以困惑一大原因在于深度神經網絡需要的是非凸優化（non-convex optimization）。

當處理非凸優化時，首先擔心是陷入隨機的局部最小值。如果最好的結果不過是隨機的局部最小值，怎么能信任結果呢？然后，有很多關于這個的研究。

讓他重拾信心的第一個發現是：在高維空間里，陷入局部最優其實非常難。在三維世界看二維曲面時，局部極小值確實像深坑難爬出來。但在十億維空間里，有無數個逃生通道！

第二個發現更妙：就算被困住，這些「局部極小值」其實離全局最優根本不遠！

所以現在沒人再糾結非凸優化問題了。

那再說個更顛覆的現象——過參數不會帶來過擬合。

在傳統的統計分析領域中，如果參數數量大于數據點數量，那是一場災難。從理論上講，這會導致過擬合。

但深度學習模型參數動不動就是樣本量的百倍！

作為數學統計雙背景的人，這曾讓他困惑不已、夜不能寐...

直到發現：即便用隨機標簽訓練，網絡也會優先學習真實模式，

這就是著名的「雙下降現象」：當過參數化模型達到插值點后，會進入廣闊的零損失解空間，并自動選擇泛化性最優的解。

現在，終于可以說：過參數化不是bug，是feature！

ChatGPT前傳

2014年，出現了第一篇關于注意力機制的論文。

從2014年到2016年，當時的主要挑戰是，這些模型很難并行訓練，以及梯度消失。

LSTM有所幫助，但也沒有完全解決問題。

然后，Transformer就出現了。

這是過去十年中最重要的論文之一。它完全消除了遞歸，完全依賴于自注意力。

Transformer是一個轉折點，優雅地解決了之前的局限性。

畢樹超盛贊：「這是過去十年最重要的架構。它高度可并行化、數據效率高，并且擴展性極佳。」

2018年，出現了GPT-1。2019年，出現了GPT-2。2020年，出現了GPT-3。

畢樹超認為GenAI的本質通用性（generalizable）。

以前，只要有數據，每個領域都可以構建一個專門的模型。這并不具備可擴展性。而GPT系列模型非常通用，可以通過零樣本或少樣本學習完成任務。

2020年，Scaling Law論文揭示驚人規律：算力、參數量、數據量每增加10倍，損失函數就線性下降！

這個定律精準預測了GPT-4的性能。雖然它終將觸及天花板，但在此之前，10萬億美元級的算力投入都將持續獲得回報！

這也是《The Bitter Lesson》這篇雄文的核心：70年AI史就是「算力碾壓人類精巧設計的算法」的歷史！

當然，作為數學系畢業生的畢樹超總在追問scaling的源頭——或許答案藏在數據分布的本征結構中。

Scaling Law如何讓模型頓悟？

看看數據分布：頂尖醫生解決罕見病，普通醫生處理常見病；

算術書籍浩如煙海，代數幾何專著卻鳳毛麟角。

智能的分布恰如冪律曲線！

Scaling law的本質或許在此：每挖掘高一個數量級的「智能稀有度」，就需要十倍算力投入！

這解釋了為何模型總先學通用模式。

三年前，全網爭論的「能力涌現」，其實只是冪律數據遇到對數坐標的視覺把戲！

當算力突破臨界點，AI「突然」學會微積分不過是捕獲了數據長尾中的高階模式！

這只是一個視角問題。它并不是突然出現的，它實際上只是反映了底層數據。

Ilya有一句名言：「模型只是想學習。」

Transformer架構終于讓AI回歸本能：吃數據，吐智能！。

過去十年，我們逐漸打破了很多對機器學習的誤解。如今，主流觀點是：預測本身的壓縮，其實等同于理解，甚至是智能的體現。

從信息論的角度來看，Shannon把「信息」定義為「不可預測性」。「智能」可以理解為：讓這個世界變得越來越不讓你感到驚訝的能力。

從這個意義上看，大語言模型在預測下一個詞時，其實是在壓縮語言中的各種模式。這正是人類理解世界的方式之一。

從認知科學的角度，人類的學習過程本質上也是壓縮過程。物理定律、數學公理等方式把世界的觀察總結成最小的一組規則。

因此，從信息到學習，從預測到理解，「壓縮」是背后共同的核心邏輯。

強化學習

整個深度強化學習從2015年開始。

當時，出現了DQN網絡。它可以玩多種雅達利游戲，玩得比人類好多了。

這些模型發現了很多人類想不到的策略，因此人們稱之為「外星智能」（alien intelligence）。

真正的核爆點在圍棋上。AlphaGo的表現讓人們第一次意識到：「這些模型真的有智能。」

AlphaGo起初是從人類棋譜中訓練起來的，它結合了深度神經網絡、、自我博弈（self-play）和蒙特卡洛樹搜索（Monte Carlo Tree Search），最終擊敗了世界冠軍。

到了2017年，AlphaGo Zero出現了。模型進一步升級，完全不再依賴人類數據，所有訓練都來自自我對弈，堪稱「AI界周伯通」！

2018年，AlphaZero再進一步。

2019年，強化學習擴展到了電子游戲，比如《星際爭霸》。

但這股熱潮很快退卻了，因為人們發現：AI雖然能「打游戲」，卻在現實中沒有太大用處。

直到強化學習與預訓練模型結合，這一切才真正發生了變化，開啟了「預訓練與強化學習結合的新時代」。

低算力RL

比如2022年的InstructGPT，它讓大語言模型不僅僅是「自動補全工具」，而是能夠理解和執行人類指令。

而2022年發布的ChatGPT，更是通過強化學習（特別是人類反饋強化學習，RLHF）進一步提升了交互能力。

當時，這個項目只是John Schulman等人的一個低調研究預覽。誰曾想，它如今每周有超過5億用戶使用，徹底改變了人們獲取信息的方式。

但仔細一想，這跟之前提到的「游戲里的強化學習」到底有什么不同呢？

強化學習+預訓練模型，可以應用到現實中更廣泛、更有價值的場景中。

關于當前AI模型的訓練方式，強化學習所占的計算資源比例其實非常小，就像蛋糕上點綴的櫻桃。

但未來如果要構建真正的AGI乃至ASI，強化學習必須發揮更大的作用，尤其是在適應未知環境方面。

高算力RL

在過去六七十年的AI發展中，有兩類技術最能隨著算力增長而不斷進步：

• 「學習」：也就是預訓練；
• 「搜索」：通過策略探索獲得新解。

而「搜索」這一方向，目前還遠遠不夠好。

這也是為什么我們要進入AI發展的「第二階段范式」：讓預訓練與高計算量強化學習真正結合起來。

從2014年的o系列模型開始，這種趨勢已經出現。

在數學基準上AIME中的表現，開源的DeepSeek R1已經超過o1。

這并不是一件簡單的事，它代表了全新的計算范式：「高算力RL」。

這種范式然顯著增強了模型的「個體學習」能力。

雖然問題還有很多值得探索，但畢樹超在演講中表示：「每隔幾個月，我們就看到一些曾經被認為不可能的事情成為現實。這應該讓我們重新審視所有我們仍然認為不可能的事情。 」

也許很多我們以為的不可能，其實只是知識的局限。