過去6個月，ChatGPT的爆火，徹底讓Meta坐不住了。

從2月開始開源大模型系列LLaMA的發布，到Llama 2升級、再到編碼模型Code Llama，Meta可謂是賭上所有去ALL IN AI。

在開源社區，Llama系列模型的免費研究和商用，直接點燃了平替模型裂變的火種。

可是，Meta在風光的同時，AI團隊正面臨著離職潮。

The Information獨家報道，因內部算力之爭，LLaMA和OPT項目的團隊成員，大半已經辭職。

圖片

甚至，Meta直接棄掉他們正研發能與PaLM匹敵的模型，將Meta AI的兩個實驗室團隊重組，以專注研發Llama 2。

Meta大部分研究人員的離職，恰恰暴露了，算力短缺是布局生成式AI的核心難題。

LLaMA論文14位作者，一半離職

在外界看來，科技巨頭擁有比大多數公司更多的計算資源。一些公司包括Meta在內，在招聘AI研究人員時，一致強調自己是「GPU RICH」。

但事實上，自己心知肚明，Meta的計算資源供應方面也存在限制。

由此，算力紛爭便在內部團隊開啟，讓許多人棄Meta而去。

具體來講，今年2月發布的初代LLaMA模型中的14位作者，已經超過一半的人全部離職。

有的轉向AI初創公司，有的加入了科技巨頭。

圖片

論文地址：https://arxiv.org/pdf/2302.13971.pdf

離開Meta的研究科學家和工程師包括原LLaMA論文的作者之一Timothée Lacroix、Guillaume Lample和Marie-Anne Lachaux。

他們現在在法國初創公司Mistral AI工作，該公司由Lacroix和Lample于6月共同創辦。

圖片

還有其中的一位作者——Meta AI的研究總監Armand Joulin已經在5月離開了Meta，目前已加入蘋果。

圖片

Meta人工智能研究實驗室「基礎AI研究」的負責人Joelle Pineau在接受采訪時表示：

留住和吸引優秀人才可能是我花費時間最多的地方，因為沒有優秀的研究人員，我什么都做不了。

Meta正在面臨的離職潮，恰恰凸顯了大型科技公司在應對對人工智能人才需求激增的挑戰。

大模型浪潮當前，各大科技公司唯恐落后，急于將AI接入自家產品和服務。

Riviera Partners的高管Kyle Langworthy稱，「求賢若渴」的公司們，都排著隊想挖角Meta的人工智能研究人員。

2月份的時候，繼LLaMA的發布點燃社區熱情后，小扎曾連夜對外官宣了公司的大動作：成立頂級產品團隊，專注AIGC。

簡言之，小扎將Meta未來的核心重點放在，生成式人工智能，以試圖追趕谷歌、微軟、OpenAI等競爭對手。

而曾經在2021年All In的「元宇宙」，也被放在了次要的位置。

圖片

緊接著，Meta時不時地發布并開源了在人工智能領域的最新研究，包括通用視覺模型SAM「分割一切」、多模態AI模型ImageBind、Llama2、Code Llama等等。

這些研究一經發布，都在開源社區引起了很大的反響，得到一致好評。

而現在，隨著有經驗的研究人員流失，Meta在追趕競爭對手的路上多了一重阻礙。

那么，具體是怎么回事，讓這些高級研究人員憤而離去？

LLaMA和OPT的算力之爭

2013年，Yann LeCun入職Meta后，擔任AI研究主管時成立了人工智能研究實驗室Meta AI（原FAIR）。

除了在加利福尼亞州門洛帕克和紐約設立主要實驗室（LeCun的所在地），Meta AI還在蒙特利爾（Pineau的所在地）、巴黎、倫敦和西雅圖設有分部。

Meta AI實驗室的成立，主要致力于AI的研究，將人工智能應用在翻譯、MRI掃描等各種場景。

但是，ChatGPT橫空出世之后，公司的高管們對AI更深層次融入產品的要求，變得更加急切。

其實，在ChatGPT發布之前，Meta也一直在開發自己的LLM。

2022年5月，Meta AI的一個北美團隊對外公布，并開源了大模型OPT-175B。

Meta聲稱，這個模型的能耗要比GPT-3低，盡管這兩個模型在訓練期間學習的內容，在數量上是一樣的。

幾個月后，該團隊開始著手開發第二個更大的模型，旨在與谷歌的PaLM競爭。

與此同時，另一個位于巴黎的Meta AI團隊，已經開始著手開發一個單獨的大型語言模型，也就是LLaMA。

知情人士表示，這個模型比OPT要小。研究團隊認為較小的模型在推理時會高效。

隨之問題就來了，分別來自北美和巴黎兩個實驗室的團隊，開啟了獲取算力資源之爭，進而加劇了內部團隊的紛爭。

尤其是，LLaMA團隊感覺自己被忽視了，自己的模型小，但獲得的計算資源比北美的OPT團隊少的多。

「基礎AI研究」的負責人Joelle Pineau表示，

關于在Meta如何分配計算資源的決策，是由來自業務不同部門的領導人組成的小組，大致每月做出一次。

最終分配多少，分配給誰，取決于組織優先事項，以及項目距離發布還有多遠來決定。

如果Meta AI的員工就分配發生爭議，就會提交到上級，也就是Pineau這一層去處理。

在采訪中，Pineau承認在LLaMA和OPT團隊之間在算力分配上有些緊張，并補充道，「我們試圖找到一條路，聽取每個人的發聲，即使無法去滿足每個人的需求。」

對某些研究人員來說，這感覺像是一場競賽。

Meta AI的一些高管也在質疑，為什么兩個團隊都做著相似的項目，但又互相競爭有限的資源。

2月巨變

兩個團隊之間的緊張關系，到今年2月達到了高潮。

恰在這個月，為了追趕競爭對手，Meta AI首次將LLaMA作為開源模型發布，授權用于研究目的。

其實，在發布的前一周，Meta AI的聯合主管兼巴黎分部負責人Antoine Bordes就離開了Meta，而對外的離職原因是?作時間與加州?樣讓自己筋疲?盡。

現在，Bordes已經加入了人工智能公司Helsing。

圖片

知情人士表示，他的離職進一步，讓LLaMA團隊與北美的高管隔離開來。另外，Pineau也承認了Bordes的離職為團隊「帶來了一些不確定性」。

這不僅僅是LLaMA團隊研究士氣受挫的問題，與此同時，OPT團隊在過去幾個月里，一直也在面臨人員流失的問題。

據稱，OPT團隊正在研發的更大型的模型，直接被Meta放棄。也不難理解，OPT的人員流失，和這個決定有著直接的關系。

根據研究作者Linkedin個人資料，19位OPT論文的作者中，也有一半人已離職Meta。

圖片

論文地址：https://arxiv.org/pdf/2205.01068.pdf

「基礎AI研究」的負責人Pineau無奈地表示，「當所有團隊都想在這個時候升級模型，那時你要么選擇其中一個，要么就讓他們合作。」

團隊重組，定位不清

在這一切發生的同時，Meta AI也被公司的頻繁地變動搞得焦頭爛額。

自從去年11月開始，小扎進行了數次全公司范圍的裁員。其中，Meta AI也沒能幸免。

今年2月，Meta AI領導人決定將相互競爭LLaMA和OPT團隊的一些成員聚集起來，正式成立「生成式AI」團隊，（由前蘋果高管Ahmad Al-Dahle負責），同時也從Meta AI抽調了大量人員。

其實，我們在Llama 2論文中，可以看到不少LLaMA和OPT作者的身影。

比如OPT的團隊中，Moya Chen、Todor Mihaylov、Punit Singh Koura加入「生成式AI」團隊。

初代LLaMA團隊中，Hugo Touvron、Thibaut Lavril、Xavier Martinet、Marie-Anne Lachaux、Naman Goyal、Aurelien Rodriguez加入「生成式AI」團隊。

有趣的是，在Llama 2的致謝中，提到的4位最先發起這項研究的團隊，其中三位已經離職，目前僅有Edouard Grave還在。

圖片

盡管備受贊譽的開源模型LLaMA取得了不小的成功，但隨著Meta對人工智能研究態度的不斷變化，研究人員之間的緊張關系仍在醞釀。

傳統上來講，Meta AI擁有一種由研究人員主導的自下而上的文化，從而使團隊能夠專注于AI領域，并取得突破性的進展。

但隨著小扎越來越傾向于將AI融入Meta的應用程序之中，Meta AI的關注點也隨之縮小——解散了那些不以產品為導向的研究，比如蛋白質折疊。

圖片

與此同時，新的項目也在生成式AI團隊和Meta AI之間「反復橫跳」。

比如，Meta在7月發布的Llama 2，以及在8月發布的專攻代碼生成的Code Llama，就是分別由兩個團隊負責的。

圖片

圖片

對此，Pineau表示，「這個領域發展得實在是太快了，我們現在還在探索，哪個項目應該由Meta AI來負責？哪個項目又該由生成式AI團隊來負責？」

臺前，開源模型光鮮靚麗，而幕后，AI研究人員離職潮涌、算力紛爭、團隊重組，為Meta傾力AI趕超對手帶來了許多不確定性因素。

參考資料：

https://www.theinformation.com/articles/inside-metas-ai-drama-internal-feuds-over-compute-power?rc=epv9gi