馬斯克兌現(xiàn)承諾，Grok模型攜3140億參數(shù)強(qiáng)勢開源，商業(yè)用途全免費(fèi)！

作者：didiplus 2024-03-19 14:00:59

最近馬斯克旗下的AI初創(chuàng)企業(yè)xAI宣布了一項(xiàng)引人注目的舉措：開源了一個(gè)名為Grok-1的混合專家模型。

馬斯克確實(shí)以其高效率和大膽的行動著稱，最近他旗下的AI初創(chuàng)企業(yè)xAI宣布了一項(xiàng)引人注目的舉措：開源了一個(gè)名為Grok-1[1]的混合專家模型。

這個(gè)模型擁有3140億個(gè)參數(shù)，是目前參數(shù)量最大的開源大型語言模型之一，而允許商用、可修改和分發(fā)，對各種自研大模型是一個(gè)很大的利好！這一行為不僅展示了馬斯克對開放源代碼和共享技術(shù)的一貫支持，也表明了他希望推動AI領(lǐng)域快速發(fā)展的決心截至目前，Grok-1已經(jīng)在 GitHub 上斬獲獲 28k 顆 Star。

項(xiàng)目介紹

讓我們先看下在Github的下載地址上，它的開源聲明都說了什么：

1.模型介紹

Grok-1模型擁有高達(dá)314億個(gè)參數(shù)，采用了混合專家（MoE）層結(jié)構(gòu)。MoE層的實(shí)現(xiàn)，在效率上存在局限，但這種結(jié)構(gòu)設(shè)計(jì)選擇是刻意為之，主要目的是為了簡化模型驗(yàn)證流程，避免自定義內(nèi)核的需求。Grok-1 的模型細(xì)節(jié)包括如下：

基礎(chǔ)模型基于大量文本數(shù)據(jù)進(jìn)行訓(xùn)練，沒有針對任何具體任務(wù)進(jìn)行微調(diào)；
3140 億參數(shù)的 MoE 模型，在給定 token 上的激活權(quán)重為 25%；
2023 年 10 月，xAI 使用 JAX 庫和 Rust 語言組成的自定義訓(xùn)練堆棧從頭開始訓(xùn)練。

2.許可協(xié)議

Grok-1遵循Apache 2.0許可證，賦予用戶以下權(quán)利：

「商業(yè)使用自由：」用戶有權(quán)將Grok-1用于商業(yè)用途，無需支付任何許可費(fèi)用。
「源代碼修改及再分發(fā)：」用戶可以對源代碼進(jìn)行修改，并且可以在相同的許可證下對修改后的版本進(jìn)行分發(fā)
「專利權(quán)授予：」該許可證自動授予用戶對軟件的所有專利權(quán)利，確保貢獻(xiàn)者無法基于專利對用戶提起訴訟。
「版權(quán)和許可聲明保留：」在分發(fā)軟件或其衍生版本時(shí)，必須包含原始的版權(quán)和許可聲明。
「責(zé)任限制：」雖然提供一定程度的保障，但軟件的作者或貢獻(xiàn)者不對因使用軟件可能產(chǎn)生的任何損害承擔(dān)責(zé)任。

看到這，有網(wǎng)友開始好奇 314B 參數(shù)的 Grok-1 到底需要怎樣的配置才能運(yùn)行。對此有人給出答案：可能需要一臺擁有 628 GB GPU 內(nèi)存的機(jī)器（每個(gè)參數(shù) 2 字節(jié)）。這么算下來，8xH100（每個(gè) 80GB）就可以了。

因此基本上個(gè)人是沒辦法用的，這個(gè)模型開源就是為了便于各種企業(yè)使用的，同時(shí)模型還提供了權(quán)重下載。

網(wǎng)友分析

知名機(jī)器學(xué)習(xí)研究者、《Python 機(jī)器學(xué)習(xí)》暢銷書作者 Sebastian Raschka 評價(jià)道：「Grok-1 比其他通常帶有使用限制的開放權(quán)重模型更加開源，但是它的開源程度不如 Pythia、Bloom 和 OLMo，后者附帶訓(xùn)練代碼和可復(fù)現(xiàn)的數(shù)據(jù)集。」

DeepMind 研究工程師 Aleksa Gordié 則預(yù)測，Grok-1 的能力應(yīng)該比 LLaMA-2 要強(qiáng)，但目前尚不清楚有多少數(shù)據(jù)受到了污染。另外，二者的參數(shù)量也不是一個(gè)量級。

Grok-1的信息

Grok-1是由xAI公司開發(fā)的人工智能模型，擁有高達(dá)314億個(gè)參數(shù)。該模型采用了一種稱為混合專家（MoE）的技術(shù)。用人類團(tuán)隊(duì)的比喻來說，這就像是一個(gè)團(tuán)隊(duì)中有多位專家共同合作，每位專家都在自己擅長的領(lǐng)域發(fā)揮作用。

Grok-1的訓(xùn)練是從頭開始的，沒有專門針對任何特定任務(wù)進(jìn)行優(yōu)化或調(diào)整。整個(gè)研發(fā)過程歷時(shí)四個(gè)月，期間經(jīng)歷了多次迭代。使用了JAX和Rust兩種編程語言，這兩者共同構(gòu)建了一個(gè)強(qiáng)大的訓(xùn)練基礎(chǔ)設(shè)施。為了訓(xùn)練Grok-1，xAI公司投入了大量資源，動用了上千塊GPU，并花費(fèi)了數(shù)月時(shí)間。在訓(xùn)練過程中，還特別關(guān)注提高模型的容錯能力。