Transformer八子全部叛逃谷歌！最后一位共同作者月底離職創(chuàng)業(yè)
Transformer八子全都叛逃了谷歌。
爆料稱，當(dāng)年參與谷歌Transformer驚世之作的最后一位共同作者Llion Jones，月底將離職谷歌自行創(chuàng)業(yè)。
圖片
前谷歌大腦、前Stability AI高管David Ha也轉(zhuǎn)發(fā)了這一消息。
2017年6月，「Attention Is All You Need」一聲炸雷，大名鼎鼎的Transformer橫空出世。
然而，6年過去了，曾聯(lián)手打造最強架構(gòu)的「變形金剛們」紛紛離開谷歌，有的加入了OpenAI等初創(chuàng)公司，有的則白手起家去創(chuàng)業(yè)。
如今，其中已經(jīng)確定Transformer七子現(xiàn)在都在哪家公司，唯獨Llion Jones一直還留在谷歌。
圖片
而現(xiàn)在，Llion Jones的離去，標(biāo)志著Transformer「變形金剛大解體」。
任職8年，Transformer被引最高
作為Transformer架構(gòu)奠基架構(gòu)合著者之一，Llion Jones向彭博確認(rèn)，將于本月晚些時候離開谷歌日本，并計劃在休假后創(chuàng)辦一家公司。
圖片
Jones在給彭博社的一封消息中寫道：
離開谷歌并不是一個容易的決定，我與他們度過了非常精彩的十年，但是現(xiàn)在是嘗試一些不同的事情的時候了。鑒于人工智能領(lǐng)域的勢頭和進展，現(xiàn)在是構(gòu)建新事物的好時機。
谷歌的一位發(fā)言人沒有立即回應(yīng)置評請求。
根據(jù)個人領(lǐng)英主頁，Llion Jones于2015年6月加入了谷歌，至今已經(jīng)任職8年。此前他曾就職于YouTube、Delcam。
圖片
他曾在伯明翰大學(xué)取得了和計算機專業(yè)的學(xué)士和碩士學(xué)位。
到目前為止，Jones的谷歌學(xué)術(shù)主頁中， 引用最高的一篇文章當(dāng)屬17年橫空出世的「Attention Is All You Need」，引用數(shù)81266。
圖片
Transformer現(xiàn)在是大型語言模型的關(guān)鍵組成部分，而這種技術(shù)是OpenAI的ChatGPT等流行人工智能產(chǎn)品的基礎(chǔ)。
在過去的幾年中，該論文的作者們已經(jīng)創(chuàng)辦了一些知名的初創(chuàng)企業(yè)，包括為企業(yè)客戶提供LLM的Cohere，以及允許用戶創(chuàng)建模仿名人和歷史人物的聊天機器人的Character.AI。
隨著Jones的離開，意味著所有八位作者都已經(jīng)離開了谷歌。
新硅谷「八叛徒」
那么，其他七子現(xiàn)又身處何處呢？
Jakob Uszkoreit被公認(rèn)是Transformer架構(gòu)的主要貢獻者。
他在2021年中離開了谷歌，并共同創(chuàng)立了Inceptive Labs，致力于使用神經(jīng)網(wǎng)絡(luò)設(shè)計mRNA。
到目前為止，他們已經(jīng)籌集了2000萬美元，并且團隊規(guī)模也超過了20人。
圖片
Ashish Vaswani在2021年底離開谷歌，創(chuàng)立了AdeptAILabs。
可以說，AdeptAILabs正處在高速發(fā)展的階段。
目前，公司不僅已經(jīng)籌集了4.15億美元，而且也估值超過了10億美元。
此外，團隊規(guī)模也剛剛超過了40人。
然而，Ashish卻在幾個月前離開了Adept。
在Transformers論文中，Niki Parmar是唯一的女性作者。
她在2021年底離開谷歌，并和剛剛提到的Ashish Vaswani一起，創(chuàng)立了AdeptAILabs。
不過，Niki在幾個月前也離開了Adept。
Noam Shazeer在Google工作了20年后，于2021年底離開了Google。
隨后，他便立刻與自己的朋友Dan Abitbol一起，創(chuàng)立了Character AI。
雖然公司只有大約20名員工，但效率卻相當(dāng)之高。
目前，他們已經(jīng)籌集了近2億美元，并即將躋身獨角獸的行列。
Aidan Gomez在2019年9月離開了Google Brain，創(chuàng)立了CohereAI。
經(jīng)過3年的穩(wěn)定發(fā)展后，公司依然正在擴大規(guī)模——Cohere的員工數(shù)量最近超過了180名。
與此同時，公司籌集到的資金也即將突破4億美元大關(guān)。
Lukasz Kaiser是TensorFlow的共同作者人之一，他在2021年中離開了谷歌，加入了OpenAI。
Illia Polosukhin在2017年2月離開了谷歌，于2017年6月創(chuàng)立了NEAR Protocol。
目前，NEAR估值約為20億美元。
與此同時，公司已經(jīng)籌集了約3.75億美元，并進行了大量的二次融資。
你只需要注意力！
Transformer誕生之前，AI圈的人在自然語言處理中大都采用基于RNN（循環(huán)神經(jīng)網(wǎng)絡(luò)）的編碼器-解碼器（Encoder-Decoder）結(jié)構(gòu)來完成序列翻譯。
然而，RNN及其衍生的網(wǎng)絡(luò)最致命的缺點就是慢。關(guān)鍵問題就在于前后隱藏狀態(tài)的依賴性，無法實現(xiàn)并行。
Transformer的現(xiàn)世可謂是如日中天，讓許多研究人員開啟了追星之旅。
2017年，8位谷歌研究人員發(fā)表了Attention is All You Need。可以說，這篇論文是NLP領(lǐng)域的顛覆者。
論文地址：https://arxiv.org/pdf/1706.03762.pdf
它完全摒棄了遞歸結(jié)構(gòu)，依賴注意力機制，挖掘輸入和輸出之間的關(guān)系，進而實現(xiàn)了并行計算。
甚至，有人發(fā)問「有了Transformer框架后是不是RNN完全可以廢棄了？」
圖片
JimFan所稱Transformer當(dāng)初的設(shè)計是為了解決翻譯問題，毋庸置疑。
谷歌當(dāng)年發(fā)的博客，便闡述了Transformer是一種語言理解的新型神經(jīng)網(wǎng)絡(luò)架構(gòu)。
圖片
https://ai.googleblog.com/2017/08/transformer-novel-neural-network.html
具體來講，Transformer由四部分組成：輸入、編碼器、解碼器，以及輸出。
輸入字符首先通過Embedding轉(zhuǎn)為向量，并加入位置編碼（Positional Encoding）來添加位置信息。
然后，通過使用多頭自注意力和前饋神經(jīng)網(wǎng)絡(luò)的「編碼器」和「解碼器」來提取特征，最后輸出結(jié)果。
如下圖所示，谷歌給出了Transformer如何用在機器翻譯中的例子。
機器翻譯的神經(jīng)網(wǎng)絡(luò)通常包含一個編碼器，在讀取完句子后生成一個表征。空心圓代表著Transformer為每個單詞生成的初始表征。
然后，利用自注意力，從所有其他的詞中聚合信息，在整個上下文中為每個詞產(chǎn)生一個新表征，由實心圓表示。
接著，將這個步驟對所有單詞并行重復(fù)多次，依次生成新的表征。
圖片
同樣，解碼器的過程與之類似，但每次從左到右生成一個詞。它不僅關(guān)注其他先前生成的單詞，還關(guān)注編碼器生成的最終表征。
2019年，谷歌還專門為其申請了專利。
圖片
自此，在自然語言處理中，Transformer逆襲之路頗有王者之風(fēng)。
歸宗溯源，現(xiàn)在各類層出不窮的GPT（Generative Pre-trained Transformer），都起源于這篇17年的論文。
然而，Transformer燃爆的不僅是NLP學(xué)術(shù)圈。
萬能Transformer：從NLP跨到CV
2017年的谷歌博客中，研究人員曾對Transformer未來應(yīng)用潛力進行了暢享：
不僅涉及自然語言，還涉及非常不同的輸入和輸出，如圖像和視頻。
圖片
沒錯，在NLP領(lǐng)域掀起巨浪后，Transformer又來「踢館」計算機視覺領(lǐng)域。甚至，當(dāng)時許多人狂呼Transformer又攻下一城。
自2012年以來，CNN已經(jīng)成為視覺任務(wù)的首選架構(gòu)。
隨著越來越高效的結(jié)構(gòu)出現(xiàn)，使用Transformer來完成CV任務(wù)成為了一個新的研究方向，能夠降低結(jié)構(gòu)的復(fù)雜性，探索可擴展性和訓(xùn)練效率。
2020年10月，谷歌提出的Vision Transformer (ViT)，不用卷積神經(jīng)網(wǎng)絡(luò)（CNN），可以直接用Transformer對圖像進行分類。
圖片
值得一提的是，ViT性能表現(xiàn)出色，在計算資源減少4倍的情況下，超過最先進的CNN。
緊接著，2021年，OpenAI連仍兩顆炸彈，發(fā)布了基于Transformer打造的DALL-E，還有CLIP。
圖片
這兩個模型借助Transformer實現(xiàn)了很好的效果。DALL-E能夠根據(jù)文字輸出穩(wěn)定的圖像。而CLIP能夠?qū)崿F(xiàn)圖像與文本的分類。
再到后來的DALL-E進化版DALL-E 2，還有Stable Diffusion，同樣基于Transformer架構(gòu)，再次顛覆了AI繪畫。
以下，便是基于Transformer誕生的模型的整條時間線。
圖片
由此可見，Transformer是有多么地能打。
