作者 | 徐杰承
審校 | 云昭
51CTO讀者成長計劃社群招募，咨詢小助手（微信號：TTalkxiaozhuli）
OpenAI借助ChatGPT所點燃的大語言模型（LLM）之火已在全球范圍內燃燒了4個月有余，而在此期間，OpenAI與微軟所推出的一系列基于GPT3.5或GPT4模型的AI產品也紛紛在不同領域取得了亮眼的表現。
然而令人略感失望的是，作為如今LLM圈內絕對的領頭羊，OpenAI并沒有遵從其創立初衷，無論是ChatGPT早期所使用的的GPT3、GPT3.5還是此后推出的GPT4模型，OpenAI都因“暫無法保證其不被濫用”為由拒絕了對模型開源，開啟了訂閱付費模式。
對于大型科技企業而言，不管是出于秀肌肉還是出于商業競爭目的，自研LLM都是一條幾乎無可避免的道路。但對于缺少算力和資金的中小企業以及希望基于LLM開發衍生產品的開發者來說，選擇開源顯然是更理想的一條路線。
那么就目前來看，在LLM領域，都有哪些優質的開源模型可供選擇？開源與閉源的運作模式又會對模型的迭代產生哪些影響呢？本文將帶你一睹LLM圈優質開源模型的最新信息。
1、Meta：LLaMA，生態發展蓬勃
幾周前，MetaAI推出了大語言模型LLaMA，其不同版本包括70億、130億、330億和650億的參數，雖然比GPT3還小，但LLaMA在許多任務上的性能都能夠追平甚至超越GPT3。
更值得注意的是，作為體量更小的模型，LLaMA不需要太多資源就能流暢運行，且LLaMA的訓練成本及訓練速度都要優于GPT3.5。
而有趣的是，LLaMA起初并未開源，但在發布后不久，模型便在4chan論壇上泄露了。然而這個烏龍事件卻也使LLaMA因禍得福，在“被迫”開源后，LLaMA引發了大量開發者的關注，基于其構建的模型也如雨后春筍般誕生。這場本應是不幸的事情也使得LLaMA成為了如今LLM領域最具影響力的創新來源之一。
項目地址：github.com/facebookresearch/llama
2、斯坦福大學：Alpaca，性價比拉滿
Alpaca是斯坦福大學通過Meta的LLaMA 70億微調而成的全新模型，僅使用了52k數據，但其性能卻基本達到了GPT3.5的水平。而Alpaca的關鍵優勢則在于低到出奇的訓練成本——僅需不到600美元。
斯坦福大學的研究人員表示，Alpaca表現出了許多類似于OpenAI的GPT3模型的行為，但相比于GPT3，Alpaca的體積更小且各項能力更易于重現。
截至目前，斯坦福團隊已在GitHub上開源了Alpaca模型微調所用到的數據集和代碼，并提供了一個在線演示網站供用戶體驗。數據集包含了5.2萬個由OpenAI API生成并人工篩選過后的問題-答案對。代碼則基于華盛頓大學去年提出的Self-Instruct方法，讓AI自己從種子任務中組合出新任務，并生成相應答案。
項目地址：https://github.com/tatsu-lab/stanford_alpaca
3、Databricks：Dolly2.0，全開源可商用
沒錯，這個模型正是借用了克隆羊Dolly的名字。4月12日，Databricks發布了Dolly 2.0大型語言模型。Databricks表示，Dolly2.0是業內第一個開源、指令跟隨型LLM，其在透明免費的數據集上進行微調，可用于研究和商業用途。此外，Databricks還發布了Dolly 2.0在其上進行微調的數據集，稱為databricks-dolly-15k。
作為Dolly模型的升級版，Dolly2.0使用了基于 EleutherAI的Pythia模型家族中的120億參數語言模型。雖然由于參數量和數據限制，Dolly2.0的綜合性能表現略遜于同類型大模型，但對大部分開發者而言也已經足夠了。并且Dolly2.0完全開源及可商用的屬性，使其順理成章的成為中小企業及個人開發者的福音。
項目鏈接：https://huggingface.co/databricks/dolly-v2-12b
4、Hugging Face：BLOOM，體量驚人
BLOOM是去年由1000多名志愿者在一個名為BigScience的項目中創建的，該項目由AI初創公司Hugging Face利用法國政府的資金運作的。BLOOM擁有1760億參數，研究人員表示它提供了與GPT3模型相似的準確性和有毒文本生成水平。
作為目前體量最大的開源大型語言模型之一，BLOOM的訓練集包含45種自然語言（含中文）和12種編程語言，1.5TB的預處理文本轉化為了350B的唯一token。實驗證明BLOOM在各種基準測試中都取得了有競爭力的表現，在經過多任務提示微調后也取得了更好的結果。
項目地址：huggingface.co/bigscience/bloom
5、阿卜杜拉國王科技大學MiniGPT4，圖像對話能力可觀
MiniGPT4是近期由沙特阿拉伯阿卜杜拉國王科技大學研究團隊推出的一款全新開源模型。據研究人員透露，MiniGPT4具有許多類似于GPT4的功能。除了可執行復雜的視覺語言任務外，MiniGPT4還擁有與GPT4相似的圖片解析功能。
研究團隊所發布的論文顯示，為了構建MiniGPT4，研究人員使用了基于LLaMA所構建的Vicuna作為語言解碼器，并使用BLIP-2視覺語言模型作為視覺解碼器，且由于使用開源軟件的緣故，MiniGPT可以用較少的數據和費用進行訓練和微調。雖然由于模型發布較晚，該模型相關測評并未公布，但據GitHub顯示，目前該研究團隊已將MiniGPT的代碼、預訓練模型和數據集進行了開源。
項目地址：github.com/Vision-CAIR/MiniGPT-4
6、Stability AIStableLM，萬億token訓練
4月19日，Stability AI發布了一個新的開源語言模型——StableLM。該模型的Alpha版本有30億和70億參數，后續還會推出150億和650億參數的版本。根據CC BY-SA-4.0許可證的條款，開發人員可以出于商業或研究目的自由檢查、使用和修改我們的StableLM基本模型。
據官方介紹，StableLM的構建基于非盈利研究中心EleutherAI所開源的多個語言模型，包括GPT-J，GPT-NeoX等，該模型在The Pile基礎上構建的新數據集上進行訓練，該數據集包含 1.5 萬億個token。可支持4096的上下文寬度，且RL調試模型可用。
但值得注意的是，該模型并為發布基準測試，也沒有發布有關模型的詳細信息，其基本型號上也存在一些限制性許可證。并且StableLM會抓取ChatGPT的輸出內容，這會違反OpenAI的使用條款，OpenAI有權在收到通知后終止用戶的訪問。因此，在進行商用時，該模型依然存在一定的潛在風險。
項目地址：github.com/Stability-AI/StableLM/issues
7、元語智能ChatYuan，首個中文開源對話模型
作為首個中文版開源對話模型，元語智能ChatYuan大模型自發布以來便在人工智能社區引發了廣泛的討論。而在近期，元語智能團隊再次開源了一個全新ChatYuan系列大模型：ChatYuan-large-v2。
據介紹，ChatYuan-large-v2支持在單張消費級顯卡、PC甚至手機上進行推理使用。新版本支持中英雙語、支持輸入輸出總長度最長4k，這也是繼此前PromptCLUE-base、PromptCLUE- v1-5、ChatYuan-large-v1模型之后，元語智能的再一力作。
技術方面，ChatYuan-large-v2使用了和v1版本相同的方案，并在指令微調、人類反饋強化學習、思維鏈等方面進行了優化。作為ChatYuan系列模型中的代表，ChatYuan-large-v2僅通過7億參數量可以實現業界100億參數模型的基礎效果。
項目地址：https://github.com/clue-ai/ChatYuan
8、清華大學ChatGLM，開辟小而精方向
ChatGLM是由清華技術成果轉化的公司智譜AI開發的開源、支持中英雙語的對話語言模型，基于General Language Model (GLM) 架構研發，擁有62億參數，支持在單張消費級顯卡上進行推理使用，在保障平民消費能力的情況下，具有小而精的特點。
ChatGLM當前版本模型的能力提升主要來源于獨特的千億基座模型GLM-130B。其不同于BERT、GPT-3以及T5架構，包含多目標函數的自回歸預訓練模型。研發團隊參考了ChatGPT的設計思路，為ChatGLM在基座模型GLM-130B中注入了代碼預訓練，通過有監督微調等技術實現人類意圖對齊。
從具體數據及測試表現來看，ChatGLM具備兼具雙語能力；易微調、部署門檻低；支持長對話與應用以及內容輸出格式簡單等優勢。但由于模型容量較小，ChatGLM也不可避免的存在著模型記憶和語言能力較弱；可能產生錯誤內容和多輪對話能力不足等一些缺點。
項目地址：github.com/THUDM/ChatGLM-6B
9、昆侖萬維天工系列模型，新模型實現智能涌現
去年年底，昆侖萬維發布了昆侖天工系列模型并宣布模型開源，包括天工巧繪SkyPaint、天工樂府SkyMusic、天工妙筆SkyText、天工智碼SkyCode，分別涉及AI圖像、AI音樂、AI文本、AI編程方面，目前已經有中國移動、咪咕等企業測試使用。
而就在近日，昆侖萬維再次發布了最新迭代升級的大語言模型天工3.5。據官方表示，天工3.5是第一個實現智能涌現的國產大語言模型，已“非常接近ChatGPT的智能水平”，可滿足文案創作、問答、代碼生成、邏輯推理與數理推算等需求。
10、大模型時代：開源vs閉源
PC時代，Linux打破了Wintel聯盟的壟斷；在iOS的封閉生態和Android的準封閉生態下，開源RISC-V實現了異軍突起。開源從始至終都意味著自由開放、意味著全球開發者能夠同時貢獻和維護所帶來的迭代效率與風險控制。
在大模型時代，開源與閉源的問題被再次搬上桌面。從短期角度講，無論是出于安全性、版權問題還是商業競爭的考量，OpenAI或是其他擁有大模型的科技企業選擇閉源都無可厚非。但從長期角度出發，對于每個大模型以及整個領域的發展而言，開源生態所帶來的幫助勢必將超越企業本身。
回首往昔，Linux的成功，并不是依靠技術的先進性擊敗了其他操作系統，而是借助蓬勃的開源生態在激烈的市場競爭中占據了主導地位。而這樣的故事在今天或是未來是否依然會繼續發生，就讓我們一起拭目以待。
