Meta 發(fā)布Llama 3，能力直逼GPT-4，一己之力拉高開源大模型水位

作者：伊風(fēng) 2024-04-19 14:52:13

眾所周知，諸如MMLU（旨在衡量知識(shí)）、ARC（試圖衡量技能習(xí)得）和DROP（測(cè)試模型對(duì)文本片段的理解能力）等流行AI基準(zhǔn)測(cè)試的有效性和實(shí)用性尚存爭(zhēng)議。但無論好壞，它們?nèi)允茿I玩家評(píng)估其模型的少數(shù)標(biāo)準(zhǔn)化手段之一。

編輯 | 伊風(fēng)、諾亞

出品 | 51CTO技術(shù)棧（微信號(hào)：blog51cto）

Meta麾下“羊駝”一路狂奔在開源的大道上。

在過去的一年里，Llama系列可以說開辟了開源LLM的半壁江山。

嫌棄開源模型能力只有GPT-3.5，不夠用?

如今Llama 3發(fā)布，又是一石激起千層浪。粗看其基礎(chǔ)benchmark，足以讓國(guó)內(nèi)外一眾大模型公司瑟瑟發(fā)抖。借用一句業(yè)內(nèi)人士的話，“性能上來說感覺就是GPT-3.7的水平。一己之力急速拉高了開源水位”。

首先從數(shù)據(jù)層面看，Llama 3 在15T tokens上進(jìn)行了訓(xùn)練，踐行了又一次堪稱恐怖的大力出奇跡；再者從訓(xùn)練資源方面看，2.4萬卡集群訓(xùn)練的部署也足以展示Meta的志在必得。

Llama 3讓Meta重奪開源大模型的王位，且其性能無限接近甚至超過OpenAI GPT、Gemini和Claude等閉源大模型。

難怪Meta有底氣放言，就各自的參數(shù)數(shù)量而言，經(jīng)過兩個(gè)定制的24000 GPU集群訓(xùn)練的Llama 3 8B和Llama 3 70B是目前可用的性能最佳的生成式AI模型之一。

更加勁爆的是。扎克伯格在最新訪談中透露，Llama3的三個(gè)版本中，是80億參數(shù)、700億參數(shù)的模型開源了，而超過 4000 億個(gè)模型還在加緊訓(xùn)練的路上……

圖片

有網(wǎng)友在訪談下調(diào)侃道，難怪扎克伯格看起來如此“人性化”，肯定是偷偷運(yùn)行Llama 3了！

圖片

讓小扎都更加AGI的Llama 3，究竟為何能這么牛呢，不妨來一起看看其細(xì)節(jié)！

一、性能 PK，刺刀見紅：Llama3恐怖如斯

Meta力大磚飛確實(shí)有奇效！扎克伯格說，Llama3 80億的模型幾乎與此前發(fā)布的最大版本的Llama2（參數(shù)700億）一樣強(qiáng)大。

Llama 3 8B在至少九項(xiàng)基準(zhǔn)測(cè)試中超越了其他開源模型，如Mistral的Mistral 7B和Google的Gemma 7B：MMLU、ARC、DROP、GPQA（一組涉及生物、物理和化學(xué)的問題）、HumanEval（一項(xiàng)代碼生成測(cè)試）、GSM-8K（數(shù)學(xué)應(yīng)用題）、MATH（另一項(xiàng)數(shù)學(xué)基準(zhǔn)）、AGIEval（問題解決測(cè)試集）以及BIGbench Hard（常識(shí)推理評(píng)估）。

誠(chéng)然，Mistral 7B和Gemma 7B并非處于最前沿（Mistral 7B于去年9月發(fā)布），并且在Meta引用的幾項(xiàng)基準(zhǔn)中，Llama 3 8B僅比二者高出幾個(gè)百分點(diǎn)。但Meta聲稱，參數(shù)數(shù)量更大的Llama 3 70B模型，可與包括Google Gemini系列最新款Gemini 1.5 Pro在內(nèi)的旗艦級(jí)生成式AI模型相媲美。

圖片

Instruct-tuned模型與Gemma、Mistral、Gemini Pro 1.5、Claude 3 Sonnet在MMLU、GSM-8k等benchmark上的對(duì)比如下：

圖片

Llama 3 70B在MMLU、HumanEval和GSM-8K三項(xiàng)測(cè)試中勝過Gemini 1.5 Pro。盡管它無法與Anthropic表現(xiàn)最為強(qiáng)勁的模型Claude 3 Opus匹敵，但在五個(gè)基準(zhǔn)（MMLU、GPQA、HumanEval、GSM-8K及MATH）上，Llama 3 70B的成績(jī)優(yōu)于Claude 3系列中第二弱的模型Claude 3 Sonnet。

為了測(cè)試Llama 3在標(biāo)準(zhǔn)基準(zhǔn)測(cè)試上的性能，Meta甚至特意開發(fā)了一個(gè)新的高質(zhì)量人類評(píng)估集。這個(gè)評(píng)估集包含1800個(gè)提示，涵蓋尋求建議、頭腦風(fēng)暴、角色扮演等12個(gè)關(guān)鍵用例。為了測(cè)試的公平，評(píng)估集不允許自己的建模團(tuán)隊(duì)訪問。結(jié)果是，70B的Llama 3Instruct-tuned模型在人類評(píng)測(cè)中勝過Claude Sonnet和GPT 3.5：

圖片

然而，鑒于測(cè)試集由Meta自身設(shè)計(jì)，顯然這些結(jié)果需要持保留態(tài)度看待。

從定性角度來說，Meta宣稱新Llama模型的用戶可以期待更高的“可控性”，即模型更愿意回答問題，并且在瑣事問題、涉及歷史和STEM（如工程與科學(xué)）領(lǐng)域的提問以及通用編碼建議方面表現(xiàn)出更高的準(zhǔn)確性。

二、Llama 3 技術(shù)細(xì)節(jié)，訓(xùn)練集是上代7倍大

在模型架構(gòu)方面，與Llama 2 基本一致，最關(guān)鍵的不同在于以下幾點(diǎn)：

1.Llama 3使用了一個(gè)128K Token 的詞匯表，而 Llama-2 的詞匯量為 32K。

2.訓(xùn)練數(shù)據(jù)使用了 15 萬億個(gè) Token，而不是 Llama-2 的 2 萬億。

3.8 億參數(shù)的模型也使用了分組查詢注意力（GQA）（與 Llama 2 7b 則沒有）。

4.代碼數(shù)據(jù)是原來的 4 倍。

為了訓(xùn)練Llama 3，Meta在超過15Token的令牌上進(jìn)行了預(yù)訓(xùn)練。所使用的訓(xùn)練數(shù)據(jù)集是Llama 2所使用的七倍。

在Llama 3的開發(fā)過程中，Meta對(duì)scaling law有了一些新體會(huì)。這次訓(xùn)練以Chinchilla做指導(dǎo)，但是他們發(fā)現(xiàn)雖然對(duì)于一個(gè)8B模型來說，對(duì)應(yīng)的最優(yōu)訓(xùn)練量約200B個(gè)令牌，即使在訓(xùn)練了700億個(gè)Token后，模型性能仍在繼續(xù)提高。

這些龐大的數(shù)據(jù)源自何處？Meta并未透露具體來源，僅表示數(shù)據(jù)來自“公開可用資源”，其中包含的代碼量是Llama 2訓(xùn)練集的四倍，并且有5%的非英語數(shù)據(jù)（覆蓋約30種語言），旨在提升除英語外其他語言的表現(xiàn)（不過仍然有大佬吐槽Llama 3的中文表現(xiàn)一般）。Meta還表示使用了合成數(shù)據(jù)（即AI生成的數(shù)據(jù)）來創(chuàng)建長(zhǎng)篇文檔供Llama 3模型訓(xùn)練，這一做法因可能帶來性能弊端而頗具爭(zhēng)議。

許多生成式AI供應(yīng)商視訓(xùn)練數(shù)據(jù)為競(jìng)爭(zhēng)優(yōu)勢(shì)，因此對(duì)其保密。但訓(xùn)練數(shù)據(jù)詳情也是潛在的知識(shí)產(chǎn)權(quán)相關(guān)訴訟源頭，這也成為不愿透露過多信息的另一個(gè)原因。近期報(bào)道顯示，在與AI競(jìng)爭(zhēng)對(duì)手保持同步的過程中，Meta曾不顧自家律師警告，使用受版權(quán)保護(hù)的電子書進(jìn)行AI訓(xùn)練。

那么，對(duì)于生成式AI模型常見的毒性與偏見問題，Llama 3同樣采取了措施。

Meta表示已開發(fā)新的數(shù)據(jù)過濾管道以提升模型訓(xùn)練數(shù)據(jù)質(zhì)量，并更新了其生成式AI安全套件Llama Guard和CybersecEval，旨在防止Llama 3模型及其他模型被濫用以及產(chǎn)生有毒的文本生成。該公司還發(fā)布了一款名為Code Shield的新工具，用于檢測(cè)生成式AI模型產(chǎn)生的可能引入安全漏洞的代碼。然而，過濾并非萬無一失。我們需要等待觀察Llama 3模型在實(shí)際應(yīng)用中的表現(xiàn)，包括學(xué)術(shù)界對(duì)其在替代基準(zhǔn)上的測(cè)試。

三、抽干閉源模型的護(hù)城河：4000億參數(shù)的“巨無霸”已經(jīng)在路上

Meta指出，Llama 3模型已經(jīng)可以下載。

Llama 3為Facebook、Instagram、WhatsApp、Messenger和網(wǎng)頁版Meta AI助手提供支持。不久，其將在包括AWS、Databricks、Google Cloud、Hugging Face、Kaggle、IBM WatsonX、Microsoft Azure、Nvidia NIM和Snowflake在內(nèi)的廣泛云平臺(tái)上以托管形式提供。

未來，針對(duì)AMD、AWS、Dell、Intel、Nvidia和Qualcomm硬件優(yōu)化的模型版本也將發(fā)布。

盡管Llama 3模型可能廣泛可用，但我們會(huì)將其描述為“開放”而非“開源”。這是因?yàn)椋銵lama系列模型并非如其聲稱的那樣無附加條件。

它們既可用于研究也可用于商業(yè)應(yīng)用。然而，Meta禁止開發(fā)者使用Llama模型訓(xùn)練其他生成式模型，同時(shí)月活躍用戶超過7億的應(yīng)用開發(fā)者必須向Meta申請(qǐng)?zhí)厥庠S可，Meta將根據(jù)其判斷決定是否授予許可。

更強(qiáng)大的Llama模型已在籌備中。

Meta稱正在訓(xùn)練規(guī)模達(dá)4000億參數(shù)的Llama 3模型，這類模型能夠進(jìn)行多語言對(duì)話，處理更多類型的數(shù)據(jù)，理解圖像和其他模態(tài)信息，與文本一樣，這將使Llama 3系列與Hugging Face的Idefics2等開放發(fā)布版本保持一致。

“我們的近期目標(biāo)是讓Llama 3實(shí)現(xiàn)多語言和多模態(tài)，具備更長(zhǎng)的上下文理解能力，并在諸如推理和編程等大型語言模型核心功能上繼續(xù)提升整體性能，”Meta在其博客文章中寫道。“未來還有許多值得期待的進(jìn)步。”

隨著400B的“巨無霸”逐漸展露真容，大模型競(jìng)技場(chǎng)的氛圍愈加焦灼。環(huán)視四周，我們可以發(fā)現(xiàn)，今天發(fā)布的Llama-3 70B，和Gemini 1.5 Pro，Cohere CMD R+，Claude Sonnet以及老版GPT-4差不多站在了同樣的分界線里。

谷歌曾直言，我們沒有護(hù)城河。OpenAI同樣如此。面對(duì) Llama-3 70B的當(dāng)頭一擊，谷歌最先進(jìn)的模型Gemini1.5 Pro也要避其鋒芒。閉源模型的護(hù)城河每每挖深一點(diǎn)，似乎就會(huì)在猝不及防間被扎克伯格抽干一次。大模型的開源與閉源之爭(zhēng)短時(shí)間內(nèi)并不會(huì)有解，但Meta在開源立場(chǎng)上的堅(jiān)持，卻讓這場(chǎng)曠日持久的Battle有了更多的可能性。

就像Yann LeCun在近期的演講中所提到的，我們不能讓少數(shù)幾個(gè)AI助手掌控全世界每個(gè)公民的全部數(shù)字生活。這位AI界的泰斗從始至終堅(jiān)持開源主張，“我們需要的不是一個(gè)AI助手，而是像Llama 2、Mistral和Gemma這樣的基礎(chǔ)模型，任何人都可以對(duì)其進(jìn)行微調(diào)”，這樣我們才可以避免回音室，避免讓少數(shù)幾家AI平臺(tái)來控制人們的所見所思，真正獲得多樣化的信息來源。

四、 Llama 3開源，AI賽道玩家誰喜誰憂？

朱嘯虎在他的“中國(guó)現(xiàn)實(shí)主義AIGC故事”中談?wù)撨^一個(gè)非常現(xiàn)實(shí)的問題：即如果一家公司投入巨資去研發(fā)類似于GPT-4的大模型，而一旦其他組織開源了類似的技術(shù)，那么之前的投入可能會(huì)白費(fèi)。

現(xiàn)在開源的王Llama 3橫空出世，已經(jīng)無限逼近這個(gè)預(yù)言。對(duì)于場(chǎng)上閉源大模型的玩家來說，必須得做到比最強(qiáng)開源大模型領(lǐng)先，才能證明自己的價(jià)值。

而Llama 3這樣急速拉高開源模型水位線的做法，無疑是打在其他大模型企業(yè)腹地上一記又快又狠的重拳。

但對(duì)于AI應(yīng)用層的企業(yè)來說，“奶媽”Llama 3的表現(xiàn)著實(shí)讓人驚喜。獵豹CEO傅盛在凌晨?jī)牲c(diǎn)的視頻中提到，絕大多數(shù)的模型都是基于Llama重新訓(xùn)練或者進(jìn)行微調(diào)的，而最讓人驚喜的點(diǎn)就在于Llama 3沒有將目標(biāo)一味聚焦在“大”上，而是讓8B的小模型也跑出了強(qiáng)性能。

傅盛發(fā)布視頻截圖

小扎在訪談中提到無法讓人使用的AI與新技術(shù)的濫用一樣糟糕，因此“擁有一個(gè)優(yōu)秀且成為標(biāo)準(zhǔn)的開源人工智能，可能是緩解這種情況的最佳方法。”而Llama 3的優(yōu)秀和強(qiáng)大，本身就是對(duì)“開源社區(qū)會(huì)越來越落后”論調(diào)的最強(qiáng)反擊。

AI技術(shù)想要服務(wù)于人類福祉，就需要更多人能伸手摘到這顆樹上的果實(shí)。Llama 3已經(jīng)來了，企業(yè)和研究機(jī)構(gòu)在強(qiáng)大底座上的二次開發(fā)和技術(shù)創(chuàng)新也就不遠(yuǎn)了。