4 月 14 日，谷歌首席科學家 Jeff Dean 在蘇黎世聯邦理工學院舉辦的信息學研討會上發表了一場演講，主題為「AI 的重要趨勢：我們是如何走到今天的，我們現在能做什么，以及我們如何塑造 AI 的未來？」

在這場演講中，Jeff Dean 首先以谷歌多年來的重要研究成果為脈絡，展現了 AI 近十五年來的發展軌跡，之后又分享了 Gemini 系列模型的發展歷史，最后展望了 AI 將給我們這個世界帶來的積極改變。

機器之心將在本文中對 Jeff Dean 的演講內容進行總結性梳理，其中尤其會關注演講的第一部分，即谷歌過去這些年對 AI 領域做出的奠基性研究貢獻。我們將看到，Transformer、蒸餾、MoE 等許多在現代大型語言模型（LLM）和多模態大模型中至關重要的技術都來自谷歌。正如 ?? 網友 @bruce_x_offi 說的那樣，你將在這里看到 AI 的進化史。

下面我們就來具體看看 Jeff Dean 的分享。

• 源地址：https://video.ethz.ch/speakers/d-infk/2025/spring/251-0100-00L.html
• 幻燈片：https://drive.google.com/file/d/12RAfy-nYi1ypNMIqbYHjkPXF_jILJYJP/view

首先，Jeff Dean 分享了他得到的一些觀察：

• 近年來，機器學習徹底改變了我們對計算機可能性的期望；
• 增加規模（計算、數據、模型大小）可帶來更好的結果；
• 算法和模型架構的改進也帶來了巨大的提升；
• 我們想要運行的計算類型以及運行這些計算的硬件正在發生巨大的變化。

機器學習十五年

首先，神經網絡！

神經網絡的概念是在上個世紀提出的，而現在 AI 的各種能力基本上都是某種基于神經網絡的計算。我們可以粗略地將神經網絡視為真實神經元行為的非常不完美的復制品。它還有很多我們不理解的地方，但它們是 AI 的基本構建模塊之一。

反向傳播是另一個關鍵構建模塊，這是一種優化神經網絡權重的方法。通過反向傳播誤差，可讓模型的輸出逐漸變成你想要的輸出。這種方法能有效地用于更新神經網絡的權重，以最小化模型在訓練數據上的誤差。并且由于神經網絡的泛化特性，得到的模型也具有泛化能力。

神經網絡和反向傳播是深度學習革命的兩大關鍵。

2012 年時，Jeff Dean 與其他一些研究者開始研究：如果訓練真正的大型神經網絡，它們會比小型神經網絡表現更好。在這一假設基礎上，他們決定訓練一個非常大的神經網絡，并且他們使用了無監督學習算法。

這個大型神經網絡比 2012 年已知的最大神經網絡還大 60 倍，使用了 16,000 個 CPU 核心。

Jeff Dean 說：「當時，我們的數據中心還沒有 GPU。我們有很多普通的舊 CPU 計算機。我們看到的是，這個無監督的訓練目標再加上一些監督訓練，將 AI 在 ImageNet 22K 上的最佳性能提高了 70% 左右。」

這是一個相當大的進步，也證明了我們的假設，即如果投入足夠的訓練計算，更大模型的能力會更強。

作為這項工作的一部分，谷歌開發了他們第一個神經網絡大規模基礎設施系統，稱為 DistBelief。這是一個分布式計算系統，分散在許多機器上，而且我們許多同事并不認為它能其作用。但實際上，當模型很大時，本就不適合僅使用單臺計算機。

在分攤計算時，有幾種不同的方法。第一種是垂直或水平地切分神經網絡中的神經元。這樣一來，每臺計算機上都只有神經網絡的一部分，然后你需要想辦法讓這些不同部分之間互相通信。這叫做模型并行化。

另一種方法是數據并行化，即在許多不同的機器上都有底層模型的副本，然后將訓練數據劃分給不同的模型副本。

模型并行化與數據并行化可以同時使用。

在 DistBelief 中，實際上還有一個中心系統，可以接收來自模型不同副本的梯度更新，并將它們應用于參數。但 Jeff Dean 表示他們的做法實際上在數學上并不正確，因為這個過程是完全異步的。不同的模型副本將獲得參數的新副本，在一些數據上進行計算，再將基于這些參數和該批次訓練數據的梯度發送回參數服務器。但這時候，參數已經有變化了，因為其他模型副本在此期間應用了它們的梯度。因此，根據梯度下降算法，這在數學上顯然是不正確的，但它是有效的。所以這就是個好方法。

這就是使我們能夠真正將模型擴展到非常大的原因 —— 即使只使用 CPU。

在 2013 年，谷歌使用該框架擴展了一個擴大了詞的密集表示的訓練，這還用到了一個詞嵌入模型 Word2Vec。

基于此，谷歌發現，通過使用高維向量表示詞，如果再用特定的方式訓練，就能得到兩個很好的屬性：

一、在訓練大量數據后，這個高維空間中的近鄰詞往往是相關的，比如所有與貓、美洲獅和老虎相關的詞都匯集到了一個高維空間的同一部分。

二、方向在這種高維空間中是有意義的。舉個例子，為了將一個男性版本的詞轉化為女性版本，比如 king → queen、man→woman，都要朝著大致相同的方向前進。

2014 年，我的三位同事 Ilya Sutskever、Oriol Vinyals、Quoc V. Le 開發了一個神經網絡，名為序列到序列學習模型。這里的想法是，對于一個輸入序列，或許可以根據它預測出一個輸出序列。

一個非常經典的例子是翻譯。比如如果源句子是英語，可以一個詞一個詞地處理輸入的英語句子來構建表示，得到一個密集表示，然后你可以將這個表示解碼成法語句子。如果有大量的英語 - 法語對，就可以學習得到一個語言翻譯系統。整個過程都是使用這種序列到序列的神經網絡。

Jeff Dean 表示自己在 2013 年左右開始擔心：由于模型越來越大，語音識別等方面也開始出現一些好用的應用，用戶量可能有很多，那么該如何提供所需計算呢？

因此，谷歌開始嘗試改進硬件，并決定為神經網絡推理構建更定制的硬件。這就是張量處理單元（TPU）的起源。

第一個版本的 TPU 只專門用于推理，所以它使用了非常低的精度 —— 它的乘法器只支持 8 位整數運算。但他們真正的目標是構建一種非常擅長低精度線性代數的硬件，它將能服務于許多不同類型的基于神經網絡的模型。這個硬件也不需要現代 CPU 中那些花哨復雜的功能，例如分支預測器或各種緩存。相反，他們的做法是盡力以更低的精度構建最快和最小的密集線性代數硬件。

不出所料，最終生產出的 TPU 在這些任務上比當時的 CPU 和 GPU 快 15 到 30 倍，能源效率高 30 到 80 倍。順便說一下，這是 ISCA 50 年歷史上被引用最多的論文。這很了不起，因為它 2017 年才發表。

之后，谷歌開始研發專用于訓練神經網絡的專用型超級計算機 —— 大量芯片用高速網絡連接起來。現在谷歌 TPU pod 在推理和訓練方面都適用，并且連接的 TPU 也越來越多。最早是 256 臺，然后是 1000，之后是 4000，最近已經來到了八九千。而且谷歌使用了定制的高速網絡來連接它們。

上周，谷歌宣布了新一代的 TPU，名為 Ironwood。Jeff Dean 表示谷歌不會繼續再用數字來命名 TPU。Ironwood 的 pod 非常大：它有 9216 塊芯片，每塊芯片可以執行 4614 TFLOPS 的運算。

TPU 的能源效率也在快速提升。

另一個非常重要的趨勢是開源。這能吸引更廣泛的社區參與并改進這些工具。Jeff Dean 認為，TensorFlow 和 Jax（都是谷歌開發的）另外再加上 PyTorch，對推動 AI 領域的發展做出了巨大的貢獻。

然后到 2017 年，Transformer 誕生了。當時，他們觀察到：循環模型有一個非常順序化的過程，即一次吸收一個 token，然后在輸出下一個 token 之前更新模型的內部狀態。這種固有的順序步驟會限制從大量數據學習的并行性和效率。因此，他們的做法是保存所有內部狀態，然后使用一種名為注意力的機制去回顧經歷過的所有狀態，然后看它們哪些部分與當前執行的任務（通常是預測下一 token）最相關。

這是一篇非常有影響力的論文。部分原因是，他們最初在機器翻譯任務上證明，用少 10 到 100 倍的計算量和小 10 倍的模型，就可以獲得比當時最先進的 LSTM 或其他模型架構更好的性能。注意，下圖使用了對數刻度。所以盡管箭頭看起來很小，但其中差異實際非常大。

這篇論文很重要，幾乎所有現代大型語言模型都使用 Transformer 或其某種變體作為底層模型架構。

2018 年時，一個新思潮開始流行（當然這個想法之前就有了）。也就是人們意識到大規模語言建模可以使用自監督數據完成。比如對于一段文本，你可以用其中一部分來預測文本的其他部分。這樣做能夠得到一些問題的答案。實際情況也證明了這一點。并且人們也發現，使用更多數據可以讓模型變得更好。

這類模型有多種訓練目標。一是自回歸，即查看前面的詞來預測下一個詞。今天大多數模型都采用了這種形式。另一種則是填空。上圖中展示了一些例子。

這兩種訓練目標都非常有用。自回歸式如今被用得更多，比如你在與聊天機器人對話時，模型就在根據之前的對話進行自回歸預測。

2021 年，谷歌開發了一種方法，可將圖像任務映射到基于 Transformer 的模型。在此之前，大多數人都在使用某種形式的卷積神經網絡。本質上講，圖像可被分解成像素塊；就像 Word2Vec 將詞嵌入到密集表示中一樣，也可以對像素塊做類似的事情 —— 用一些高維向量來表示這些塊。然后，就可以將它們輸入到 Transformer 模型，使其能夠處理圖像數據。現在我們知道，圖像和文本還可以組合成多模態數據。因此，這項研究在統一文本 Transformer 和圖像 Transformer 方面產生了巨大的影響。

另外，在 2017 年，Jeff Dean 還參與開發了一種創造稀疏模型的方法。本質上講，就是對于一個很大的模型，僅激活其中一小部分，而不是針對每個 token 或樣本都激活整個模型。

在最初的論文中，實際上有相當多的專家 —— 每層有 2048 名專家。而每次會激活其中 2 個。這很不錯，因為模型現在有了非常大的記憶能力，可以記住很多東西。并且選擇具體激活哪些專家也可以通過反向傳播以端到端的方式學習。這樣一來，你可以得到擅長不同任務的專家，比如有的擅長處理時間和日期，有的擅長地理位置，有的擅長生物學。

然后，Jeff Dean 列出了更多谷歌在稀疏模型方面的研究成果，感興趣的讀者可以參照閱讀。

2018 年，谷歌開始思考，對于這些大型分布式機器學習計算，可以有哪些更好的軟件抽象。谷歌構建了一套可擴展的軟件 Pathways 來簡化大規模計算的部署和運行。

如上圖所示，每一個黃點構成的框都可被視為一個 TPU Pod。當這些 TPU Pod 在同一棟建筑內時，使用該建筑物內的數據中心網絡來保證它們互相通信。而當它們位于不同的建筑內時，可以使用建筑物之間的網絡以及相同的數據中心設施。甚至可以將不同區域的 TPU Pod 連接在一起。

事實上，Pathways 給機器學習開發和研究人員的抽象之一是你只需要一個 Python 過程。Jax 本就有「設備（device）」的概念。比如如果你只是在一臺機器上運行，里面有 4 塊 TPU 芯片，當使用 Jax 和 Pathways 訓練時，整個訓練過程中所有芯片都將作為 Jax 的設備進行處理。依照這個機制，你可以用單一的 Python 進程管理成千上萬個 TPU 設備。Pathways 負責將計算映射到實際的物理設備上。而自上周開始，Pathways 已開始向谷歌云的客戶提供。

2022 年，谷歌一個團隊發現，在推理時思考更長時間是非常有用的。基于此觀察，他們提出了思維鏈（CoT）。

圖中舉了個例子：如果給模型展示一些示例，示例中如果包含得到正確結論的思考過程，那么 LLM 更有可能得到正確答案。

這個方法看起來很簡單，而實際上卻能極大提升模型的準確度，因為通過鼓勵它們生成思考步驟，可以讓它們以更細粒度的方式解決問題。

可以看到，在 GSM8K（八年級一般數學水平問題）上，隨著模型規模增大，如果只使用標準提示方法，解決準確度會有一些提高，但如果使用思維鏈提示法，解決準確度則會大幅上升。

這正是在推理時使用更多計算的一種方式，因為模型必須在生成更多 token 之后才給出最終答案。

下面來看蒸餾 —— 也是谷歌發明的。2014 年，Geoffrey Hinton、Oriol Vinyals 和 Jeff Dean 最早開發出了這種名為蒸餾（Distillation）的技術，可用來蒸餾神經網絡中的知識。這種方法能夠將更好的大模型中的知識放入到一個更小的模型中。

在訓練小模型時，比如想要其預測下一 token，典型方法是讓其先根據前面的句子進行預測，如果對了，很不錯，如果錯了，就反向傳播誤差。

這種方法還不錯，但蒸餾卻能做到更好。

教師模型不僅會給小模型正確的答案，而且還會給出它認為這個問題的好答案的分布。也就是說，教師模型能提供更豐富的訓練信號。這種非常豐富的梯度信號可以用來為較小模型的每個訓練樣本注入更多知識，并使模型更快地收斂。

如上圖中表格所示。這是一個基于語音識別的設置，其中給出了訓練幀準確度和測試幀準確度。

可以看到，當使用 100% 的訓練集時，測試幀準確度為 58.9%。而如果只使用 3% 的訓練集，可以看到其訓練幀準確度還提高了，但測試幀準確度下降很明顯，這說明出現了過擬合現象。但是，如果使用蒸餾方法，3% 的訓練集也能讓模型有很好的測試幀準確度 —— 幾乎和使用 100% 訓練集時一樣準確。這說明可以通過蒸餾將大型神經網絡的知識轉移到小型神經網絡中，并使其幾乎與大型神經網絡一樣準確。

有意思的是，這篇論文被 NeurIPS 2014 拒了。于是他們只得在研討會上發表了這篇論文。而現在，這篇論文的引用量已經超過了 2.4 萬。

另外在 2022 年，谷歌一個團隊研究了一種不同的將計算映射到 TPU Pod 以執行有效推理的方法。其中，有很多變體需要考慮，比如權重固定、X 權重聚集、XY 權重聚集、XYZ 權重聚集……

谷歌得到的一個見解是：正確的選擇取決于許多不同的因素。正如圖中所示，其中的圓點虛線是最佳表現。可以看到，隨著批量大小的變化，最佳方案也會隨之變化。因此在執行推理時，可以根據實際需求選擇不同的并行化方案。

時間來到 2023 年，谷歌開發了一種名為推測式解碼（Speculative Decoding）的技術，可讓模型推理速度更快。這里的想法是使用一個比大模型小 10 到 20 倍的 drafter 模型，因為其實很多東西靠小模型就能預測，而小模型速度又快得多。因此，就可以將兩者結合起來提升效率：先讓小模型預測 k 個 token，然后再讓大模型一次性預測 k 個 token。相比于讓大模型一次預測一個 token，這種做法的效率明顯更高。

Jeff Dean 表示：「所有這些結合在一起，真正提高了人們今天看到的模型的質量。」

從底層的 TPU 發展到高層的各種軟件和技術進步，最終造就了現今強大的 Gemini 系列模型。

這里我們就不繼續整理 Jeff Dean 對 Gemini 系列模型發展歷程的介紹了。最后，他還分享了 AI 將給我們這個社會帶來的一些積極影響。

他說：「我認為隨著更多投資和更多人進入這個領域，進一步的研究和創新還將繼續。你會看到模型的能力越來越強大。它們將在許多領域產生巨大影響，并有可能讓更多人更容易獲得許多深度的專業知識。我認為這是最令人興奮的事情之一，但也會讓一些人感到不安。我認為我們有 AI 輔助的未來一片光明。」