輕量版ChatGPT訓(xùn)練方法開源！僅用3天圍繞LLaMA打造，號(hào)稱訓(xùn)練速度比OpenAI快15倍
基于Meta模型打造的輕量版ChatGPT，這就來啦？
Meta宣布推出LLaMA才三天，業(yè)界就出現(xiàn)了把它打造成ChatGPT的開源訓(xùn)練方法，號(hào)稱比ChatGPT訓(xùn)練速度最高快15倍。
LLaMA是Meta推出的超快超小型GPT-3，參數(shù)量只有后者的10%，只需要單張GPU就能運(yùn)行。
把它變成ChatGPT的方法名叫ChatLLaMA，基于RLHF（基于人類反饋的強(qiáng)化學(xué)習(xí)）進(jìn)行訓(xùn)練，在網(wǎng)上很快掀起了一陣熱度。
所以，Meta的開源版ChatGPT真的要來了？
先等等，事情倒也沒那么簡(jiǎn)單。
把LLaMA訓(xùn)練成ChatGPT的“開源方法”
點(diǎn)進(jìn)ChatLLaMA項(xiàng)目主頁(yè)來看，會(huì)發(fā)現(xiàn)它實(shí)際上集成了四個(gè)部分——
DeepSpeed、RLHF方法、LLaMA和基于LangChain agent生成的數(shù)據(jù)集。
其中，DeepSpeed是一個(gè)開源深度學(xué)習(xí)訓(xùn)練優(yōu)化庫(kù)，包含名叫Zero的現(xiàn)存優(yōu)化技術(shù)，用于提升大模型訓(xùn)練能力，具體指幫模型提升訓(xùn)練速度、降低成本、提升模型可用性等。
RLHF則會(huì)采用獎(jiǎng)勵(lì)模型來對(duì)預(yù)訓(xùn)練模型進(jìn)行微調(diào)。獎(jiǎng)勵(lì)模型即先用多個(gè)模型生成問題問答，再依靠人工對(duì)問答進(jìn)行排序，讓它學(xué)會(huì)打分；隨后，基于獎(jiǎng)勵(lì)學(xué)習(xí)給模型生成的回答進(jìn)行打分，通過強(qiáng)化學(xué)習(xí)的方式增強(qiáng)模型能力。
LangChain是一個(gè)大語(yǔ)言模型應(yīng)用開發(fā)庫(kù)，希望將各種大語(yǔ)言模型整合起來，結(jié)合其他知識(shí)來源或計(jì)算能力創(chuàng)建一個(gè)實(shí)用的應(yīng)用程序。LangChain agent則會(huì)像思維鏈一樣放出GPT-3思考的全過程，將操作記錄下來。
這時(shí)候你會(huì)發(fā)現(xiàn)，最關(guān)鍵的依舊是LLaMA的模型權(quán)重。它從哪里來？
嘿嘿，自己去找Meta申請(qǐng)吧，ChatLLaMA并不提供。（雖然Meta聲稱開源LLaMA，但依舊需要申請(qǐng)）
所以本質(zhì)上來說，ChatLLaMA并不是一個(gè)開源ChatGPT項(xiàng)目，而只是一種基于LLaMA的訓(xùn)練方法，其庫(kù)內(nèi)集成的幾個(gè)項(xiàng)目原本也都是開源的。
實(shí)際上，ChatLLaMA也并非由Meta打造，而是來自一個(gè)叫做Nebuly AI的初創(chuàng)AI企業(yè)。
Nebuly AI做了一個(gè)叫做Nebullvm的開源庫(kù)，里面集成了一系列即插即用的優(yōu)化模塊，用于提升AI系統(tǒng)性能。
例如這是Nebullvm目前包含的一些模塊，包括基于DeepMind開源的AlphaTensor算法打造的OpenAlphaTensor、自動(dòng)感知硬件并對(duì)其進(jìn)行加速的優(yōu)化模塊……
ChatLLaMA也在這一系列模塊中，但要注意的是它的開源license也是不可商用的。?
所以“國(guó)產(chǎn)自研ChatGPT”想要直接拿去用，可能還沒那么簡(jiǎn)單（doge）。?
看完這個(gè)項(xiàng)目后，有網(wǎng)友表示，要是有人真搞到LLaMA的模型權(quán)重（代碼）就好了……
但也有網(wǎng)友指出，“比ChatGPT訓(xùn)練方法快15倍”這種說法是一個(gè)純純的誤導(dǎo)：
所謂的快15倍只是因?yàn)長(zhǎng)LaMA模型本身很小，甚至能在單個(gè)GPU上運(yùn)行，但應(yīng)該不是因?yàn)檫@個(gè)項(xiàng)目所做的任何事情吧？
這位網(wǎng)友還推薦了一個(gè)比庫(kù)中效果更好的RLHF訓(xùn)練方法，名叫trlx，訓(xùn)練速度要比通常的RLHF方法快上3~4倍：
你拿到LLaMA的代碼了嗎？覺得這個(gè)訓(xùn)練方法如何？
ChatLLaMA地址：???https://github.com/nebuly-ai/nebullvm/tree/main/apps/accelerate/chatllama??
參考鏈接：???https://twitter.com/omarsar0/status/1630211059876339713??
