70萬預(yù)算從頭開發(fā)千億參數(shù)大模型，挑戰(zhàn)成功
本文經(jīng)AI新媒體量子位（公眾號ID:QbitAI）授權(quán)轉(zhuǎn)載，轉(zhuǎn)載請聯(lián)系出處。
預(yù)算10萬美元（約73萬人民幣），從頭訓(xùn)練一個全新的千億參數(shù)大模型。
智源研究院與國內(nèi)多所高校及南洋理工聯(lián)合團(tuán)隊，挑戰(zhàn)成功。
要知道，當(dāng)GPT-3的訓(xùn)練成本可是高達(dá)460萬美元，近一些的Llama2據(jù)估算也大概是這個數(shù)。
這個用10萬美元訓(xùn)練出的大模型名叫FLM，擁有1010億參數(shù)量，目前已經(jīng)開源。
得益于研究團(tuán)隊的新型訓(xùn)練策略，F(xiàn)LM只用了2.17%的花銷，就達(dá)到了可以比肩GPT-3的效果，在開發(fā)社區(qū)引起不小關(guān)注。
那么，F(xiàn)LM團(tuán)隊是如何把訓(xùn)練成本降低近50倍的呢？
“成長策略”降低訓(xùn)練成本
不管是租還是買，硬件的價格都擺在那動不了，所以只能是通過減少運算量來降低成本。
為了降低訓(xùn)練過程中的運算量，研究團(tuán)隊在FLM中采用了一種“成長策略”。
也就是先訓(xùn)練16B參數(shù)的小規(guī)模模型，然后擴(kuò)大到51B，最終再擴(kuò)展到101B版本。
由于訓(xùn)練低參數(shù)量模型的運算效率更高，這種循序漸進(jìn)的訓(xùn)練方式成本要低于一步登天。
看到這里也許有的讀者會有疑問，其他模型不是也有分成多個參數(shù)量的版本嗎？
是沒錯，但是這些參數(shù)量不同的同種模型是分別進(jìn)行訓(xùn)練的，這造成了大量的重復(fù)計算，因而成本并不低。
而FLM采用的“成長策略”在訓(xùn)練大規(guī)模版本時會直接繼承低參數(shù)量模型中已有的知識，降低了重復(fù)運算率。
而具體參數(shù)的確定，應(yīng)用了loss prediction技術(shù)，即根據(jù)低參數(shù)模型的訓(xùn)練損失預(yù)測出高參數(shù)量模型的損失。
除了這種“由小及大”的“成長策略”之外，F(xiàn)LM的訓(xùn)練過程中還通過改善并行策略來提高吞吐量。
FLM使用的是混合并行策略，將多種并行方式進(jìn)行最優(yōu)化配置，達(dá)到高吞吐量，單GPU利用率超過了50%。
團(tuán)隊還利用序列并行和分布式優(yōu)化器技術(shù)，將輸入序列和優(yōu)化器狀態(tài)分配到不同GPU，減輕了單個GPU的計算和內(nèi)存壓力。
那么，這種“成長策略”訓(xùn)練出的FLM表現(xiàn)又如何呢？作者給出了Open LLM數(shù)據(jù)集的測試結(jié)果。
FLM在四個項目中取得的平均成績接近GLM-120B和Llama-7B，但訓(xùn)練成本顯著低于二者。
而在其中的TruthfulQA單項中，F(xiàn)LM的成績甚至超過了Llama 2。
專業(yè)知識方面，16B參數(shù)的eFLM在C-eval評測中，平均成績超過了130B參數(shù)的GLM，并接近ChatGPT。
除了這些一般的benchmark，F(xiàn)LM團(tuán)隊還提出了一項大模型“IQ測試”。
給大模型“測智商”
FLM團(tuán)隊提出的大模型“智商測試”重點考察模型的推理泛化能力，而非知識儲備。
這項測試從如下四個維度進(jìn)行了展開：
- 符號映射：使用隨機(jī)符號替換分類標(biāo)簽，評估模型推理和泛化能力，避免過度擬合。
- 規(guī)則理解：檢驗?zāi)Ｐ湍芊癜凑战o定規(guī)則進(jìn)行操作，如“計數(shù)”、“字符串替換”等。
- 模式挖掘：給出示例，讓模型歸納推導(dǎo)出規(guī)律并應(yīng)用，如“頭尾添加”等。
- 抗干擾能力：在噪聲環(huán)境中提取關(guān)鍵信息，包括多關(guān)鍵信息提取、單論據(jù)追蹤和雙論據(jù)追蹤三項內(nèi)容。
其中第一、三、四項的示例如下圖所示：
那么，F(xiàn)LM面對自家提出的測評標(biāo)準(zhǔn)，成績到底怎么樣呢？
符號映射測評中，F(xiàn)LM以低一個數(shù)量級的運算量在SuperGLUE數(shù)據(jù)集上取得了與GLM和GPT-3相近的成績，在CLUE數(shù)據(jù)集上的表現(xiàn)更是超過了GLM。
其余三個項目的成績也都超過了GLM，并接近GPT-3。
論文地址：https://arxiv.org/abs/2309.03852Hugging Face項目頁：
https://huggingface.co/CofeAI/FLM-101B
