Transformer六周年：當年連NeurIPS Oral都沒拿到，8位作者已創辦數家AI獨角獸

作者：機器之心 2023-06-13 13:29:46

有的人加入 OpenAI，有的人成立創業公司，也有的堅守谷歌 AI。當年正是他們共同開啟了今天的 AI 大發展時代。

從 ChatGPT 到 AI 畫圖技術，人工智能領域最近的這波突破或許都要感謝一下 Transformer。

今天是著名的 transformer 論文提交六周年的日子。

論文鏈接：https://arxiv.org/abs/1706.03762

六年前，一篇名字有點浮夸的論文被上傳到了預印版論文平臺 arXiv 上，「xx is All You Need」這句話被 AI 領域的開發者們不斷復述，甚至已經成了論文標題的潮流，而 Transformer 也不再是變形金剛的意思，它現在代表著 AI 領域最先進的技術。

六年后，回看當年的這篇論文，我們可以發現很多有趣或鮮為人知的地方，正如英偉達 AI 科學家 Jim Fan 所總結的那樣。

「注意力機制」并不是 Transformer 作者所提出的

Transformer 模型拋棄了傳統的 CNN 和 RNN 單元，整個網絡結構完全是由注意力機制組成。

雖然 Transformer 論文的名字是《Attention is All You Need》，我們也因它而不斷推崇注意力機制，但請注意一個有趣的事實：并不是 Transformer 的研究者發明了注意力，而是他們把這種機制推向了極致。

注意力機制（Attention Mechanism）是由深度學習先驅 Yoshua Bengio 帶領的團隊于 2014 年提出的：

《Neural Machine Translation by Jointly Learning to Align and Translate》，標題比較樸實。

在這篇 ICLR 2015 論文中，Bengio 等人提出了一種 RNN +「上下文向量」（即注意力）的組合。雖然它是 NLP 領域最偉大的里程碑之一，但相比 transformer，其知名度要低得多，Bengio 團隊的論文至今已被引用 2.9 萬次，Transformer 有 7.7 萬次。

AI 的注意力機制，自然是仿照人類的視覺注意力而來。人類大腦里有一種天生能力：當我們看一幅圖時，先是快速掃過圖片，然后鎖定需要重點關注的目標區域。

如果不放過任何局部信息，必然會作很多無用功，不利于生存。同樣地，在深度學習網絡中引入類似的機制可以簡化模型，加速計算。從本質上說，Attention 就是從大量信息中有篩選出少量重要信息，并聚焦到這些重要信息上，忽略大多不重要的信息。

近年來，注意力機制被廣泛應用在深度學習的各個領域，如在計算機視覺方向用于捕捉圖像上的感受野，或者 NLP 中用于定位關鍵 token 或者特征。大量實驗證明，添加了注意力機制的模型在圖像分類、分割、追蹤、增強以及自然語言識別、理解、問答、翻譯中任務中均取得了明顯的性能提升。

引入了注意力機制的 Transformer 模型可以看做一種通用序列計算機（general-purpose sequence computer），注意力機制允許模型在處理輸入序列時根據序列中不同位置的相關性分配不同的注意力權重，這使得 Transformer 能夠捕捉到長距離的依賴關系和上下文信息，從而提高序列處理的效果。

但在當年，不論是 Transformer 還是最初的 attention 論文都沒有談到通用序列計算機。相反，作者們認為它是解決一個狹窄而具體的問題 —— 機器翻譯的機制。所以未來的我們追溯起 AGI 的起源時，說不定可以追溯到「不起眼」的谷歌翻譯。

雖然被 NeurIPS 2017 接收，但連個 Oral 都沒拿到

Transformer 這篇論文雖然現在影響力很大，但在當年的全球頂級 AI 會議 NeurIPS 2017 上，連個 Oral 都沒拿到，更不用說拿到獎項了。當年大會共收到 3240 篇論文投稿，其中 678 篇被選為大會論文，Transformer 論文就是被接收的論文之一，在這些論文中，40 篇為 Oral 論文，112 篇為 Spotlight 論文，3 篇最佳論文，一篇 Test of time award 獎項，Transformer 無緣獎項。

雖然無緣 NeurIPS 2017 論文獎項，但 Transformer 的影響力大家也是有目共睹的。

Jim Fan 評價說：在一項有影響力的研究變得有影響力之前，人們很難意識到它的重要性，這不是評委的錯。不過，也有論文足夠幸運，能夠第一時間被發現，比如何愷明等人提出的 ResNet，當年獲得了 CVPR 2016 最佳論文，這一研究當之無愧，得到了 AI 頂會的正確認可。但在 2017 年那個當下，非常聰明的研究者也未必能夠預測現在 LLM 帶來的變革，就像 20 世紀 80 年代一樣，很少有人能預見到 2012 年以來深度學習帶來的海嘯。

八位作者，人生各自精彩

當時這篇論文的作者共有 8 位，他們分別來自谷歌和多倫多大學，五年過去了，大部分論文作者都已離開了原機構。

2022 年 4 月 26 日，一家名為「Adept」的公司官宣成立，共同創始人有 9 位，其中就包括 Transformer 論文作者中的兩位 Ashish Vaswani 和 Niki Parmar。

Ashish Vaswani 在南加州大學拿到博士學位，師從華人學者蔣偉（David Chiang）和黃亮（Liang Huang），主要研究現代深度學習在語言建模中的早期應用。2016 年，他加入了谷歌大腦并領導了 Transformer 的研究，2021 年離開谷歌。

Niki Parmar 碩士畢業于南加州大學，2016 年加入谷歌。工作期間，她為谷歌搜索和廣告研發了一些成功的問答和文本相似度模型。她領導了擴展 Transformer 模型的早期工作，將其擴展到了圖像生成、計算機視覺等領域。2021 年，她也離開谷歌。

在離開之后，兩人參與創立了 Adept，并分別擔任首席科學家（Ashish Vaswani）和首席技術官（Niki Parmar）。Adept 的愿景是創建一個被稱為「人工智能隊友」的 AI，該 AI 經過訓練，可以使用各種不同的軟件工具和 API。

2023 年 3 月，Adept 宣布完成 3.5 億美元的 B 輪融資，公司估值超過 10 億美元，晉升獨角獸。不過，在 Adept 公開融資的時候，Niki Parmar 和 Ashish Vaswani 已經離開了 Adept，并創立了自己的 AI 新公司。不過，這家新公司目前還處于保密階段，我們無法獲取該公司的詳細信息。

另一位論文作者 Noam Shazeer 是谷歌最重要的早期員工之一。他在 2000 年底加入谷歌，直到 2021 年最終離職，之后成為了一家初創企業的 CEO，名字叫做「Character.AI」。

Character.AI 創始人除了 Noam Shazeer，還有一位是 Daniel De Freitas，他們都來自谷歌的 LaMDA 團隊。此前，他們在谷歌構建了支持對話程序的語言模型 LaMDA。

今年三月，Character.AI 宣布完成 1.5 億美元融資，估值達到 10 億美元，是為數不多有潛力與 ChatGPT 所屬機構 OpenAI 競爭的初創公司之一，也是罕見的僅用 16 個月時間就成長為獨角獸的公司。其應用程序 Character.AI 是一個神經語言模型聊天機器人，可以生成類似人類的文本響應并參與上下文對話。

Character.AI 于 2023 年 5 月 23 日在 Apple App Store 和 Google Play Store 發布，第一周下載量超過 170 萬次。2023 年 5 月，該服務增加了每月 9.99 美元的付費訂閱，稱為 c.ai+，該訂閱允許用戶優先聊天訪問，獲得更快的響應時間和早期訪問新功能等特權。

Aidan N. Gomez 早在 2019 年就已離開谷歌，之后擔任 FOR.ai 研究員，現在是 Cohere 的聯合創始人兼 CEO。

Cohere 是一家生成式 AI 初創公司，于 2019 年成立，其核心業務包括提供 NLP 模型，并幫助企業改進人機交互。三位創始人分別為 Ivan Zhang、Nick Frosst 和 Aidan Gomez，其中 Gomez 和 Frosst 是谷歌大腦團隊的前成員。2021 年 11 月，Google Cloud 宣布他們將與 Cohere 合作，Google Cloud 將使用其強大的基礎設施為 Cohere 平臺提供動力，而 Cohere 將使用 Cloud 的 TPU 來開發和部署其產品。

值得注意的是，Cohere 剛剛獲得 2.7 億美元 C 輪融資，成為市值 22 億美元的獨角獸。