整理 | 言征
出品 | 51CTO技術棧（微信號：blog51cto）
大型語言模型的競爭似乎正在結束，只有少數幾個明顯的贏家。其中，DeepSeek V3 已成為 2024 年的焦點，引領中國開源模型的發展。據 Hugging Face 稱，DeepSeek V3 與 GPT-4 和 Claude 3.5 等閉源巨頭正面交鋒，上個月的下載量為 45,499 次，與Meta 的 Llama 3.1（491,629 次下載）和谷歌的 Gemma 2（377,651 次下載）并駕齊驅。但并非今年推出的所有 LLM 都能乘風破浪——有些失敗了，盡管前景光明，但未能引起人們的興趣。以下是 2024 年未能取得成功的模型。
1.Databricks：DBRX
2024 年 3 月， Databricks推出了 DBRX，這是一款擁有 1320 億個參數的開源 LLM。它采用細粒度的 MoE 架構，每個輸入激活 16 位專家中的 4 位，擁有 360 億個活動參數。該公司聲稱，該模型的表現優于 GPT-3.5 和 Gemini 1.5 Pro 等閉源模型。
然而，自推出以來，很少有人討論它的采用情況，或者企業是否認為它適合構建應用程序。Mosaic 團隊于 2023 年被 Databricks 以 13 億美元收購，該團隊領導了其開發，該公司花費 1000 萬美元打造了 DBRX。但遺憾的是，該模型上個月在 Hugging Face 上的下載量慘不忍睹，只有 23 次。
2.TII：Falcon 2
5 月，阿布扎比技術創新研究所 (TII) 發布了其下一代 Falcon 語言模型，包括兩個版本：Falcon-2-11B 和 Falcon-2-11B-VLM。Falcon 2 模型的基準性能令人印象深刻，Falcon-2-11B 的表現優于Meta 的 Llama 3 8B，并與Google 的 Gemma 7B 相當，這已由 Hugging Face 排行榜獨立驗證。
然而，Meta 在今年晚些時候發布了 Llama 3.2 和 Llama 3.3，將 Falcon 2 拋在身后。據 Hugging Face 稱，Falcon-2-11B-VLM上個月的下載量僅為 1,000 次左右。
3.Snowflake：Arctic
今年 4 月，Snowflake 推出了Arctic LLM，這是一個擁有 480B 參數的模型，使用 128 位專家構建了一個密集的 MoE 混合 Transformer 架構。該公司自豪地表示，它只花了 200 萬美元來訓練該模型，在 SQL 生成等任務上的表現優于 DBRX。
該公司對 DBRX 的關注表明其試圖挑戰 Databricks。同時，Snowflake 承認 Llama 3 等模型在某些基準測試中表現優于它。
4.Stable：LM 2
Stability AI 于去年 1 月推出了Stable LM 2 系列，包含兩個版本：Stable LM 2 1.6B 和 Stable LM 2 12B。1.6B 模型經過 2 萬億個 token 的訓練，支持西班牙語、德語、意大利語、法語和葡萄牙語等七種語言，在大多數任務中的表現都優于微軟的 Phi-1.5 和 TinyLlama 1.1B 等模型。
5 月份推出的穩定版 LM 2 12B 提供 120 億個參數，并使用 7 種語言的 2 萬億個詞條進行訓練。該公司聲稱，該模型可與 Mixtral、Llama 2 和 Qwen 1.5 等大型模型相媲美，在 RAG 系統的工具使用方面表現出色。然而，最新的用戶統計數據卻講述了一個不同的故事，12月的下載量僅為 444 次。
5.Nemotron-4 340B
Nemotron-4-340B-Instruct是 NVIDIA 為合成數據生成和聊天應用程序開發的 LLM。它于 2024 年 6 月發布，是 Nemotron-4 340B 系列的一部分，該系列還包括 Base 和 Reward 版本。盡管該模型功能強大，但其普及率卻很低，2024 年 12 月在 Hugging Face 上的下載量僅為 101 次左右。
6.Jamba
AI21 Labs于 2024 年 3 月推出了 Jamba，這是一款將基于 Mamba 的結構化狀態空間模型 (SSM) 與傳統 Transformer 層相結合的 LLM。Jamba 系列包括多個版本，例如 Jamba-v0.1、Jamba 1.5 Mini 和 Jamba 1.5 Large。
Jamba 擁有 256K 的 token 上下文窗口，能夠處理比許多競爭模型大得多的文本塊，這最初引起了人們的興奮。然而，該模型未能引起太多關注，上個月在 Hugging Face 上的下載量僅為 7K左右。
7.AMD OLMo
2024 年底，AMD 憑借其基于 Transformer 的解碼器專用語言模型 OLMo 系列進入開源 AI 領域。OLMo 系列包括基礎 OLMo 1B、OLMo 1B SFT（監督微調）和 OLMo 1B SFT DPO（通過直接偏好優化與人類偏好保持一致）。
該模型在 16 個 AMD Instinct MI250 GPU 驅動的節點上進行訓練，實現了 12,200 個令牌/秒/gpu 的吞吐量。
旗艦模型 OLMo 1B 擁有 12 億個參數、16 個層、16 個 head、隱藏層大小為 2048、上下文長度為 2048 個 token、詞匯量為 50,280，面向開發者、數據科學家和企業。盡管如此，該模型在社區中僅收獲了1k左右的下載。
