LLM之戰(zhàn)，谷歌輸了！越來越多頂尖研究員跳槽OpenAI
?前幾天，谷歌差點遭遇一場公關危機，Bert一作、已跳槽OpenAI的前員工Jacob Devlin曝出，Bard竟是用ChatGPT的數(shù)據(jù)訓練的。
隨后，谷歌火速否認。
而這場爭議，也牽出了一場大討論：為什么越來越多Google頂尖研究員跳槽OpenAI？這場LLM戰(zhàn)役它還能打贏嗎？
知友回復
萊斯大學博士、知友「一堆廢紙」表示，其實谷歌和OpenAI的差距，是數(shù)據(jù)的差距。
「OpenAI對LLM有強大的執(zhí)念，這是Google這類公司完全比不上的。當然人的差距只是一個方面，數(shù)據(jù)的差距以及對待數(shù)據(jù)的態(tài)度才是其成功的關鍵。人可能可以花錢挖回來，技術可能可以補上，但數(shù)據(jù)的差距Google短時間內(nèi)沒法追上。」
https://arxiv.org/abs/2303.10158
顯然，ChatGPT的成功中，至關重要的一環(huán)，就是高質(zhì)量的標注數(shù)據(jù)。
「一堆廢紙」介紹，OpenAI對數(shù)據(jù)和標簽質(zhì)量的重視程度令人發(fā)指，對標注人員的選擇極為嚴苛（有考試），最后甚至會發(fā)放問卷。正是這種執(zhí)念造就了GPT模型的成功，這是Google根本比不上的。
而隨著上億用戶不斷給OpenAI提供新的數(shù)據(jù)，谷歌和OpenAI的差距只會越來越大。
Data-centric AI的理念，奠定了OpenAI的成功。
自然語言處理、深度學習話題的優(yōu)秀答主「張俊林」表示，OpenAI已經(jīng)把所有人都甩開了一大截。
包括Google在內(nèi)，其實對于LLM發(fā)展理念的理解，明顯都落后OpenAI一個身位。現(xiàn)實是OpenAI表現(xiàn)過于優(yōu)秀，把所有人都甩開了，不僅僅是國內(nèi)。我覺得，OpenAI對LLM在理念及相關技術方面，領先國外的Google、DeepMind大約半年到一年的時間，領先國內(nèi)大概兩年左右的時間。
知乎答主「周道道」表示，谷歌近期的翻車和OpenAI以對比，必然給了這些頂尖的研究員巨大的震撼。
另外，據(jù)說OpenAI相對谷歌也會給研究員更多的資源和更寬泛的要求，畢竟OpenAI更像是一個研究機構，而谷歌更像是把AI當成產(chǎn)品在研發(fā)的部門。
而答主「陳大寶」的回答可謂非常扎心。
未來商業(yè)歷史會記錄兩個又經(jīng)典又嘲諷的案例：
1.柯達發(fā)明了數(shù)碼相機
2.谷歌發(fā)明了transformer
圖源：「陳大寶」
評論區(qū)還驚現(xiàn)了利益相關匿名人士。
又一名匿名人士說到點上了。
知友「飛了個豬的」點出來了谷歌作為大公司的「創(chuàng)新者困境」。
又一利益相關匿名人士出現(xiàn)。
知友「周星楠(Bill)」總結(jié)道，谷歌這樣的大公司就是要去人材化，基于policy，所有大家都是螺絲釘。
而Insider為我們總結(jié)了一篇長文，盤點了這些年從谷歌人工智能團隊流失的頂級人才。
人才都去哪了？
谷歌為人工智能領域貢獻了一些很重要的研究。然而，該公司在將創(chuàng)新轉(zhuǎn)化為產(chǎn)品方面一直進展緩慢。
因此，頂級人工智能研究人員紛紛離開，去往那些可以產(chǎn)生更大價值和影響的初創(chuàng)公司，例如OpenAI，Character.AI，DeepMind，Cohere，Inceptive。
谷歌已經(jīng)處于防守地位，時時刻刻會失去人工智能領域領先的地位。而頂級研究人員的離開，更是加劇了這一問題。
Cohere的聯(lián)合創(chuàng)始團隊Ivan Zhang, Aidan Gomez, 和Nick Frosst
雖然谷歌可能處于防守模式，但其實它沒必要這樣的。該公司自己創(chuàng)造了許多基礎技術，為ChatGPT等產(chǎn)品提供動力。它還將其研究作為開放源碼提供，這在某種程度上諷刺了OpenAI的迅速崛起。
由于擔心該技術會對其業(yè)務造成聲譽上的損害，谷歌長期以來一直對發(fā)布類似于ChatGPT的聊天機器人猶豫不決。
谷歌大型語言模型LaMDA背后的兩位研究人員Daniel De Freitas和Noam Shazeer離開了公司，他們對公司遲遲不發(fā)布類似ChatGPT的聊天機器人感到沮喪。
其他前谷歌研究人員也認為，在人工智能如此激動人心的時代，創(chuàng)業(yè)公司會為研究人員提供成果的所有權，并且自己會發(fā)揮更多價值和影響。
以下是人工智能領域最引人注目的一些論文，這些論文的研究人員已經(jīng)離開谷歌去了別的公司。
Ilya Sutskever
「用神經(jīng)網(wǎng)絡進行序列到序列學習」發(fā)表于2014年，這篇序列到序列論文探討了訓練語言模型，將一個領域的單詞序列轉(zhuǎn)換為另一個領域的序列。例如，將一個英語句子轉(zhuǎn)換為法語句子。
Ilya Sutskever領導了這篇論文的研究。他在擔任了近三年的研究科學家后于2015年離開谷歌。Sutskever是OpenAI的聯(lián)合創(chuàng)始人，并繼續(xù)作為其首席科學家在那里工作。
注意力是你所需要的一切
這篇Transformer的重磅論文，如今引用量已經(jīng)突破七萬次。Transformer被認為是自然語言處理方面的一個突破。它通過同時觀察句子中的每個詞并權衡每個詞的重要性來收集上下文的細微差別，從而幫助人工智能理解含義。
而ChatGPT中的「T」代表的就是Transformer，足以見得這篇論文的重要性。
不過，本文的八位作者，除了Llion Jones，都已經(jīng)離開了谷歌。
Ashish Vaswani在五年后離開了谷歌大腦（谷歌的深度學習人工智能研究團隊），創(chuàng)辦了Adept公司，該公司最近籌集了3.5億美元，建立生成性人工智能工具，幫助人們更有效地使用生產(chǎn)力軟件。他最近離開了Adept，去了一家隱秘的創(chuàng)業(yè)公司。
Noam Shazeer現(xiàn)在是Character.AI的CEO。
Niki Parmar在五年后離開谷歌大腦，擔任Adept公司的聯(lián)合創(chuàng)始人和首席技術官，不過和Vaswani一樣，她最近也離開了，去了一家隱秘的創(chuàng)業(yè)公司。
Jakob Uszkoreit在谷歌工作了13年，從事神經(jīng)網(wǎng)絡和深度學習。他現(xiàn)在是Inceptive的聯(lián)合創(chuàng)始人，這是一家利用深度學習來設計新療法的初創(chuàng)公司。
Aidan Gomez是Cohere公司的聯(lián)合創(chuàng)始人和首席執(zhí)行官，該公司已經(jīng)籌集了大約1.6億美元，幫助開發(fā)者將生成性人工智能納入他們的應用程序和網(wǎng)站。他在谷歌大腦做了一年半的研究員。而他在Cohere的聯(lián)合創(chuàng)始人Nick Frosst在谷歌大腦做了四年的研究員。
Lukasz Kaiser在谷歌大腦工作了7年多后離開了谷歌大腦，于2021年加入了OpenAI。Kaiser最近在OpenAI的GPT-4白皮書中被引用為其長語境能力的核心貢獻者，他讓聊天機器人在忘記討論的語境之前，可以進行更長的對話。
Illia Polosukhin在谷歌大腦從事了三年的深度學習和自然語言理解工作。他在2017年離開，創(chuàng)辦了Pagoda，一個Web3創(chuàng)業(yè)平臺。
建立一個類似人類的開放域聊天機器人
這個論文介紹了谷歌最初的聊天機器人Meena，探討了聊天機器人如何通過研究從公共社交媒體對話中搜取的數(shù)據(jù)來學習談論話題。它還介紹了谷歌創(chuàng)建的一個來評定聊天機器人說話表現(xiàn)的測試。
這篇論文是大語言建模的另一個重要里程碑，作者認為他們可以在沒有硬編碼訓練的情況下，做出一個大語言模型，對問題產(chǎn)生類似人類的反應。
作者之一Daniel De Freitas在谷歌大腦做了五年的研究員后，擔任Character.AI的聯(lián)合創(chuàng)始人和總裁。
De Freitas在Character.AI的同事Romal Thoppilan對本文也有貢獻。
左為Romal Thoppilan；右為Daniel De Freitas
LaMDA：對話應用的語言模型
LaMDA是對話應用的語言模型的縮寫，也是聊天機器人Bard的基礎。它在2020年作為Meena首次演示，但谷歌從未向公眾發(fā)布Meena。谷歌人工智能研究部門的前雇員解釋說因為谷歌擔心機器人會發(fā)表有害的評論，這會是一場公關的噩夢。
LaMDA背后的幾個主要研究人員已經(jīng)離開了谷歌大腦。
Daniel De Freitas和Noam Shazeer去年成立了Character.AI這家公司，他們最近籌集了大約2億美元來創(chuàng)建以各種角色形式說話的聊天機器人，從馬斯克到治療師到生活教練的各種角色。
Romal Thoppilan在谷歌大腦工作了7年之后，擔任Character.AI的創(chuàng)始研究員。
Alicia Jin在接近2022年底時加入Character.AI，擔任研究工程師。她曾在谷歌大腦工作了三年。
BERT
BERT（Bidirectional Encoder Representations from Transformers）建立在自然語言處理的Transformer模型上，經(jīng)過預先訓練，可以很好地完成兩項任務：掩蔽語言建模和對下一句話的預測。換句話說，BERT試圖預測隱藏的或「被掩蓋的」詞語，迫使算法努力學習更多關于周圍文本的知識，更好地預測隱藏的詞語。
如果你輸入「你能為別人的藥房買藥嗎」，它將理解「別人」是查詢的一個重要部分。
谷歌早在2019年就開始將BERT納入搜索引擎之中。這是自2015年納入另一種機器學習算法RankBrain以來，搜索準確性方面的最大進步之一。
Jacob Devlin是這篇論文的主作者，而他在ChatGPT推出前不久加入了OpenAI。
T5
T5論文的正式名稱是「用統(tǒng)一的文本到文本Transformer探索轉(zhuǎn)移學習的極限」，它建立在BERT的基礎上，非常適合于翻譯和總結(jié)等任務。
領導這篇論文的Colin Raffel在2021年離開之前，在谷歌大腦擔任了大約五年的研究科學家。目前是聯(lián)合國大學教堂山分校的助理教授，每周花一天時間在Hugging Face擔任研究員。Hugging Face最近宣布，它在2022年5月籌集了1億美元，公司的估值為20億美元。用戶可以在Hugging Face分享大型語言模型和數(shù)據(jù)集。
T5論文的另一位撰稿人Sharan Narang在谷歌大腦工作四年后，于2022年離開了那里。他現(xiàn)在是Meta公司的一名人工智能研究員。
一種用于快速芯片設計的圖形放置方法
由谷歌科學家Azalia Mirhoseini和Anna Goldie領導的論文發(fā)現(xiàn)，人工智能可以比人類專家更快地完成芯片的設計過程。
兩人領導的另一篇論文《用深度強化學習進行芯片布局》，提供了一種在芯片設計中使用人工智能的方法，以最大限度地提高性能，同時最大限度地減少面積和功率的使用。
這些發(fā)現(xiàn)有助于谷歌設計TPU芯片，專門用于機器學習任務。
Mirhoseini和Goldie都在2022年離開谷歌，加入了Anthropic，也是OpenAI的競爭對手，它們正在開發(fā)自己的大型語言模型和一個名為Claude的聊天機器人。
DeepMind
Mustafa Suleyman是DeepMind的聯(lián)合創(chuàng)始人，并擔任該公司的首席產(chǎn)品官。這是一家人工智能實驗室，于2014年被谷歌收購。該實驗室開發(fā)了AlphaGo，該機器學習程序在圍棋中擊敗了世界冠軍的專業(yè)人士。
谷歌的母公司Alphabet最近在其第四季度財報中宣布，DeepMind的財務業(yè)績將從 「其他投資」中獨立出來，這標志著人工智能在谷歌未來戰(zhàn)略中的重要性。通常情況下，「其他投資」是該公司的新生項目的總稱，這些項目尚未達到盈利水平。
Suleyman一直是確保新人工智能產(chǎn)品安全的積極倡導者。在DeepMind工作期間，他成立了一個名為DeepMind倫理與社會的研究部門，研究人工智能的現(xiàn)實影響。2019年，他因被指控欺負員工而被DeepMind放假。在調(diào)查進行期間，他調(diào)回到谷歌擔任副總裁一職。
Suleyman在許多與機器學習有關的研究論文中被引用。2022年2月，他與LinkedIn的創(chuàng)建者Reid Hoffman共同創(chuàng)建了人工智能初創(chuàng)公司Inflection。
谷歌最具開創(chuàng)性的人工智能論文的許多主要貢獻者已經(jīng)離開，或是加入了OpenAI等競爭對手，或是創(chuàng)辦了自己的公司。
當OpenAI的ChatGPT于2022年年底問世時，谷歌首席執(zhí)行官Sundar Pichai在內(nèi)部宣布了「紅色預警」，召集公司做出回應。
當時，Pichai表示，谷歌將毫無疑問地繼續(xù)雇用人工智能領域的頂級研究人員。
不過失去了這么多得力干將，谷歌是否還能再造輝煌呢？
參考資料：
https://www.businessinsider.com/google-ai-teams-brain-drain-researchers-leave-2023-3
https://www.zhihu.com/question/592975340/answer/2963265672
https://zhuanlan.zhihu.com/p/597586623
https://www.zhihu.com/question/592975340/answer/2964598555
