今天，Meta 發(fā)布了 Llama 3.1 模型，延續(xù)了他們從最初的 Llama 3 “預(yù)覽版”開始就踐行的開源理念，即盡早發(fā)布和頻繁發(fā)布。Llama 3.1 模型有三種規(guī)模：8 B、70 B和長期傳聞中的 405 B 參數(shù)。對于其規(guī)模來說，這些模型是同類中最優(yōu)秀的開源模型。4050 億參數(shù)模型直接與 Anthropic 的 Claude 3 和 OpenAI 的GPT-4o 處于同一水平。Llama 3.1 的營銷以及Meta 的 AI 戰(zhàn)略正在直接推動將開源軟件實踐轉(zhuǎn)化為開源AI。這次發(fā)布的核心和 AI 的未來是 AI 能有多“開源”，以及 Meta 是否確實是掌握這一技術(shù)的公司。

這將是關(guān)于 Llama 3 和開放語言模型生態(tài)系統(tǒng)的多篇文章中的第一篇。鑒于 Llama 3.1 的發(fā)布幾乎沒有限制，本文將重點介紹人工智能未來的可能發(fā)展。開放語言模型（不一定是開源的）現(xiàn)在比正在準(zhǔn)備百億美元訓(xùn)練集群的封閉實驗室有更多的保障相關(guān)性。開放社區(qū)現(xiàn)在有了一個模型，即 4050 億參數(shù)的指令變體，這為研究和開發(fā)打開了許多大門——提煉、合成數(shù)據(jù)、微調(diào)、工具使用等等。

Meta 的開放前沿模型

Llama 3.1 發(fā)布博客包含了有關(guān)該模型的所有常規(guī)細(xì)節(jié)。該模型的架構(gòu)非常簡單，以至于其簡單性成為一個話題重點。它是一個前饋密集Transformer，擁有非常多的參數(shù)，并在精心策劃的 15.6 萬億個數(shù)據(jù)標(biāo)記上進行訓(xùn)練。與 Llama 3 和其他最近的開源模型相比，其許可證相當(dāng)不錯，允許創(chuàng)建合成數(shù)據(jù)，但附帶了嚴(yán)格的品牌條款。

該模型展示了 Meta 在擴展其系統(tǒng)方面的重點，而不是像 OpenAI、Anthropic 和Google 為其華而不實的小模型（Haiku、Flash 和 Mini）所做的那樣，走專家混合然后提煉的路徑。Meta 在前沿模型游戲中起步較晚，但它正在迅速縮小差距。這是第一次在開放模型發(fā)布帖子中與封閉的前沿模型進行公平比較。

Llama 3.1 405B instruct（以及基礎(chǔ)模型，但上述內(nèi)容更可能是 instruct）超過了許多現(xiàn)有的最佳模型（以藍色突出顯示）。Meta 還展示了他們 3.1 系列中的較小模型變體如何輕松擊敗其他開源模型（包括近期的模型，如 Gemma 2）。

Meta 與開發(fā)人員一起為發(fā)布此版本付出了很多努力，并且在第一天就集成了許多流行工具，從 HuggingFace 到 VLLM 等。對于用戶來說，重要的是量化模型的發(fā)布，例如 405B 模型的 FP8 版本，因此可以在一臺由 8 個 80GB A100 或H100 組成的節(jié)點上輕松運行推理。

在這個模型中，數(shù)據(jù)依然是王者。他們沒有詳細(xì)說明太多，而 Scale AI 聲稱自己是后期訓(xùn)練的合作伙伴，此外還有大量的合成數(shù)據(jù)，這與Nemotron 的配方非常相似。

405B 模型在 API 上的定價與 GPT-4o 非常相似，范圍為輸入每百萬Token 3-9美元，輸出每百萬Token 3-15美元，而 GPT-4o 的定價為輸入每百萬 5美元，輸出每百萬 15美元。不過，通過本地托管，許多機構(gòu)能夠大大降低成本，因為他們已經(jīng)擁有現(xiàn)有的 GPU 配置。

該模型可以在 Meta.ai 上免費使用（并可以在 HuggingFace 上下載），但沒有通過大多數(shù)模型仍未能通過的“氛圍測試”（沒有網(wǎng)絡(luò) API）。除了事實知識之外，其文本顯然相當(dāng)不錯。有趣的是，Meta 將用戶體驗從其他提供商的默認(rèn)設(shè)置進行了交換，將用戶放在左邊，助手放在右邊。我想知道他們是否通過 A/B 測試測量到參與度的提升，或者只是想與眾不同。

扎克伯格的開源AI愿景（與現(xiàn)實的對比）

隨著 Llama 3.1 的發(fā)布，馬克·扎克伯格撰寫了一篇引人注目的文章，闡述了為什么開源AI是美國科技產(chǎn)業(yè)應(yīng)追求的正確方向。文章集中在三個論點上：開源AI對開發(fā)者的好處，開源AI對Meta的好處，以及開源AI對世界的好處。我同意他文章的大意，特別是他對智能爆炸等“意外傷害”可能性的處理，但他在利用精心編織的故事試圖過度推銷 Meta AI 的角色。

扎克伯格論點的核心在于語言模型和AI將成為未來技術(shù)的新計算平臺，他借用了協(xié)作開發(fā)的Unix操作系統(tǒng)的類比（特別是在最近 CrowdStrike 新聞的背景下）。開源AI對開發(fā)有利的原因現(xiàn)在基本被廣泛接受——數(shù)據(jù)隱私、自己基礎(chǔ)設(shè)施的安全性以及通過訓(xùn)練自己的模型來節(jié)省成本。

這篇文章最有趣的部分是關(guān)于開源AI對Meta和世界的作用。Meta的戰(zhàn)略完全認(rèn)識到AI是一種工具，而不是他們商業(yè)模式的核心，因此他們應(yīng)該使這些工具變得平民化。科技公司在這方面有著悠久的歷史——他們在削弱競爭對手的同時，不會損害自己的表現(xiàn)。當(dāng)AI發(fā)展如此迅速時，它也有可能從社區(qū)為他們的模型找到的技巧中獲得優(yōu)勢。扎克伯格正在重復(fù)一個幾十年來一直適用于科技公司有效的簡單策略，但可能適用于較小的資本投資規(guī)模上。這適用于 Llama 3 的規(guī)模，但尚不清楚 Llama 4 是否會再大十倍（他謹(jǐn)慎地不討論這些趨勢）。Llama 3 的成本可能在1億美元左右（但實際上更多），這很便宜。而10億美元及以上的投入開始會影響股東。

在這篇博客文章和扎克伯格為此（以及其他Llama 版本發(fā)布）所做的采訪中都表明，Llama 是開源AI 的核心。操作系統(tǒng)等軟件包可以通過許多小貢獻構(gòu)建，而語言模型則需要集中開發(fā)和較慢的發(fā)布周期，兩者之間存在根本性的不匹配。基礎(chǔ)模型是開源 AI 生態(tài)系統(tǒng)的重要組成部分，但修改它的工具和開放的訓(xùn)練資源同樣重要——而這些Meta 并不擁有。

開源 AI 技術(shù)的真正起點是 Nvidia GPU、Nvidia 的Cuda、HuggingFace，然后是 Meta 的 Llama。Nvidia 收購HuggingFace 并訓(xùn)練 Nemotron 5 以擁有AI 的開源默認(rèn)架構(gòu)要比 Meta 代表整個技術(shù)容易得多。由于早期對 AI 的反壟斷關(guān)注，Meta 和Nvidia 可能都無法在這個領(lǐng)域擴展，因此開源 AI 將根據(jù)當(dāng)時最好的模型來發(fā)展。

Meta 只能通過訓(xùn)練更好的模型來鎖定用戶，但這是一個成本高昂且用戶粘性低的過程。盡管有些人批評 HuggingFace 的代碼質(zhì)量，但它將繼續(xù)成為transformer 風(fēng)格模型的默認(rèn)起點——這是一個更難打破的真正鎖定。即使 Meta 不會為用戶創(chuàng)建鎖定（因為它不需要通過其變現(xiàn)），每個邊際模型現(xiàn)在都在對競爭對手施加真正的壓力。將競爭壓力與品牌區(qū)分開是 Meta 戰(zhàn)略中最難的部分——他們不知道哪一個更重要。

扎克伯格最后一個論點是“為什么開源對世界有好處”，他將其分為對故意傷害（例如仇恨言論、惡意行為者等）的研究和非故意傷害（例如流氓 AI、失控模型等）的研究。他認(rèn)為，我們使用的開源模型對故意傷害的影響很小，因為大多數(shù)故意傷害取決于誰在部署用戶端點，因此我們應(yīng)該對非故意傷害進行細(xì)致入微的辯論。

我同意，目前最好的選擇是公開、快速地發(fā)布現(xiàn)有模型，讓更多科學(xué)家、監(jiān)管機構(gòu)和社區(qū)參與進來。我們需要在開源中擁有最先進或接近最先進的模型，以了解技術(shù)的發(fā)展，然后如果出現(xiàn)新興威脅，我們可以快速應(yīng)對。

Llama 3.1 許可證是否支持開源 AI ？

在發(fā)布材料中，特別是模型卡片和論文中，Meta繼續(xù)沿用 AI 領(lǐng)域的開源行業(yè)標(biāo)準(zhǔn)。從扎克伯格開始，Llama 3.1 被宣揚為“開源 AI”的領(lǐng)先戰(zhàn)略，而 Meta 參與的機構(gòu)工作組正在討論開源 AI 的真正定義。Llama 3.1 的發(fā)布不符合任何提議的開源 AI 定義，主要在數(shù)據(jù)這一步上失敗。Meta 的發(fā)布文件中提到數(shù)據(jù)是“公開可用的”，但沒有給出明確定義或文檔。同時，Scale AI 的 CEO 在推特上表示，Llama 3.1 是他們數(shù)據(jù)代工業(yè)務(wù)中的一個重要合作項目。

Llama 3.1 的更細(xì)微組件及其對開源生態(tài)系統(tǒng)的潛在支持是通過其許可證實現(xiàn)的。Llama 3.1 將成為大多數(shù)人的默認(rèn)模型，但許可證決定了更多組織和小公司如何能夠加入開源前沿模型的運動。

定制許可協(xié)議是頂級 AI 實驗室發(fā)布新開源模型的決定性因素，通過 Llama 3.1，Meta 完善了其AI 的開源戰(zhàn)略。Llama 3.1 許可證是對相當(dāng)嚴(yán)格的，Llama 3 許可證的修改，保留了其大部分關(guān)于商業(yè)用途限制、命名限制和法律填充（責(zé)任、定義、條款等）的核心條款。Llama 3.1 許可證的主要變化是圍繞輸出訓(xùn)練（用于合成數(shù)據(jù)）和下游命名的條款。

1、用戶現(xiàn)在可以使用 Llama 模型的輸出來訓(xùn)練其他模型。在之前的許可版本中，用戶只能訓(xùn)練 Llama 模型。

2、用戶仍然必須將他們的下游模型命名為“Llama-{你的模型名}”，這與之前的“Llama-3-{xyz}”有些許變化。

值得注意的是，即使我們可以在輸出上訓(xùn)練模型，但得到的結(jié)果會被納入 Meta 的開源戰(zhàn)略中。

Meta 盡最大努力將開源語言建模社區(qū)的所有工作吸收到其Llama 品牌中。憑借這些模型的評估分?jǐn)?shù)優(yōu)勢，使用 Llama 3.1 Instruct 405B 進行合成數(shù)據(jù)訓(xùn)練將比大多數(shù)實驗室使用 API 便宜得多，而從 8B 或70B 模型中進行微調(diào)將成為大多數(shù)學(xué)術(shù)界的核心基準(zhǔn)和起點。

原始 Llama 3 許可證的條款并沒有意義，因為它們在精神上試圖推廣 Llama 品牌，但卻限制了合成數(shù)據(jù)分發(fā)的主要方法之一。

在開源 AI 的背景下，大多數(shù)發(fā)布模型的公司會遵守這些規(guī)則——名稱更改不值得承擔(dān)法律風(fēng)險。大多數(shù)在開源 AI 模型之上構(gòu)建的公司不會公開發(fā)布它們的模型，因此命名和衍生許可成為無關(guān)因素。

在某種程度上，這感覺像是法律困境中的小弟弟，類似于我們是否可以根據(jù) OpenAI 的服務(wù)條款在其輸出上進行訓(xùn)練的問題。社區(qū)在早期的開放微調(diào)項目中接受了訓(xùn)練輸出的做法。許多公司這樣做了，唯一面臨審查的是中國公司 ByteDance。Meta 會以同樣寬容的方式對待其許可證條款嗎？誰會冒險去發(fā)現(xiàn)答案？

大多數(shù)公司會嘗試遵守規(guī)定，但在線訓(xùn)練合成模型的個人將把這視為自由使用 Llama 3.1 輸出來訓(xùn)練開放模型的許可。鑒于這些許可證文件的格式極其奇怪，其合法性受到質(zhì)疑（例如，讓用戶擁有輸出，然后對他們命名數(shù)據(jù)集進行限制，這有什么意義？），Llama 3 許可證的增量比當(dāng)前版本的文本更有說服力。

存在許多微妙的方式來繞過命名規(guī)則，但意圖很明確——Meta 希望 Llama 品牌盡可能觸及開源生態(tài)系統(tǒng)的各個方面。在這一點上，Meta 應(yīng)該進一步將其 meta.ai 界面更名為 llama.ai。

使用此模型時需要注意的其他條款包括：

1.任何衍生產(chǎn)物，包括模型和數(shù)據(jù)集，都必須附帶Llama 3.1 許可證進行分發(fā)。

2.在發(fā)布時，擁有超過 7 億活躍用戶的公司不能使用該模型。

這項新許可證使 Llama 模型在實現(xiàn) Meta 的焦土策略（scorched earth strategy）方面更進一步。至此，如果你希望避免任何許可證限制，Nemotron 340B 仍然是合成數(shù)據(jù)的最佳模型。如果 Meta 想要定義開源 AI 并成為實現(xiàn)這一目標(biāo)的平臺（無論他們是否處于正確的技術(shù)層級），那么這一許可證的做法并沒有以一種讓其他實體能夠接受的方式來定義開源 AI。

Llama 3 許可證可能由于社區(qū)的反對而被削弱，所以我們將拭目以待未來的許可證能取得多大的進展。為了成為“真正的開源”，該模型可能需要更多關(guān)于數(shù)據(jù)的細(xì)節(jié)，并移除對允許使用類型的限制（這是開源軟件歷史上的一場漫長斗爭）。Llama 3.1 許可證更接近于免費軟件，而非開源軟件。

前沿模型監(jiān)管的不同未來

在 Llama 3.1 發(fā)布的同一天，五名民主黨參議員致信向 Sam Altman 和 OpenAI ，要求提前了解未來基礎(chǔ)模型的發(fā)布計劃（原文來源《華盛頓郵報》）。這封信的發(fā)出，正值 Claude 3.5 Sonnet 發(fā)布之際，Anthropic 詳細(xì)說明了他們在發(fā)布前與英國 AI 安全研究所進行了檢查。而 Meta 雖然在內(nèi)部努力緩解“關(guān)鍵風(fēng)險”，但并未提及主權(quán)實體的參與——他們只是“遵循”已經(jīng)制定的規(guī)定。在他們關(guān)于 Llama 3.1 負(fù)責(zé)任開發(fā)的公告中寫道：

“我們密切關(guān)注全球各國政府在定義 AI 安全方面的努力。Meta 支持新的安全機構(gòu)，并與美國國家標(biāo)準(zhǔn)與技術(shù)研究所 (NIST) 和 ML Commons 等知名機構(gòu)合作，推動制定共同的定義、威脅模型和評估。我們與前沿模型論壇 (FMF) 和人工智能伙伴關(guān)系 (PAI) 等機構(gòu)合作，尋求制定共同的定義和最佳實踐，同時與民間社會和學(xué)術(shù)界進行互動，幫助我們制定方法。在此次發(fā)布中，我們繼續(xù)在公共安全和關(guān)鍵基礎(chǔ)設(shè)施領(lǐng)域（包括網(wǎng)絡(luò)安全、災(zāi)難性風(fēng)險和兒童安全）對我們的模型進行評估和紅隊測試。”

我相信扎克伯格所說的公司應(yīng)該公開合作并與政府合作（引用自與 Rowan Cheung 的采訪）——與許多其他大型科技公司（例如特斯拉和蘋果）相比，他在支持美國價值觀方面的記錄更為良好。雖然許多人可能會認(rèn)為他可以做得更多，特別是考慮到平臺為盈利而接受政治言論的情況，但 AI 正在引發(fā)一場新的討論，超越了單純的內(nèi)容問題。

Meta 采取這種立場將有助于平衡關(guān)于美國未來 AI 生態(tài)系統(tǒng)的應(yīng)該是什么樣子的討論和游說努力。開源模型將使更多人有機會參與其中，深入理解這些模型的能力。

與此同時，GPT-5 即將問世，扎克伯格暗示 Llama 4 的架構(gòu)即將發(fā)生變化，更不用說即將到來的多模態(tài) Llama 3。鑒于不確定性和進展的速度，我們需要讓更多的利益相關(guān)者參與到這一過程中，而不僅僅是最大公司的代表。有些人認(rèn)為，OpenAI 已經(jīng)感受到這次發(fā)布帶來的產(chǎn)品壓力，推出了其小型模型 GPT-4o 的新免費微調(diào)功能。

目前，我們祝賀 Meta 成為前沿模型實驗室的成員，加入了 OpenAI、Anthropic 和Google 的行列，這是一項巨大的努力。但在不久的將來，他們截然不同的戰(zhàn)略將重新點燃 2022 年和 2023 年關(guān)于 AI 應(yīng)如何處理的辯論。

本文轉(zhuǎn)載自 ??MoPaaS魔泊云??，作者： NATHAN LAMBERT