從“更大”到“更聰明”：螞蟻集團推出 Ling 2.0，大模型推理進入“稀疏智能時代” 原創
在這個“模型越大越好”的時代，螞蟻集團卻走出了一條反向思路——讓模型變得更聰明，而不是更臃腫。
最近，螞蟻集團的 Inclusion AI 團隊正式發布了 Ling 2.0 系列模型——一個以“推理優先（Reasoning-First）”為核心設計理念的稀疏 MoE（Mixture of Experts）語言模型家族。它最大的特點是：參數總量可以從 160 億一路擴展到 1 萬億，但每個 Token 的計算量幾乎不變。
聽起來有點像魔法？但這其實是一套非常系統的工程哲學：每一次激活（Activation）都必須帶來推理能力的增強。
一、1/32 激活比例的 MoE 設計：讓“大模型”變輕盈
在 Ling 2.0 的架構中，核心是一個 稀疏專家混合層（Sparse MoE Layer）。
每一層都包含：
- 256 個路由專家（Routed Experts）；
- 1 個共享專家（Shared Expert）。
每處理一個 Token 時，路由器會從 256 個專家中選擇 8 個激活，再加上始終開啟的共享專家，總共 9 個專家參與計算——這只占全部專家的 **約 3.5%**，也就是 1/32 的激活比例。
這種稀疏激活機制，讓模型在訓練與推理時僅使用極小一部分網絡，卻能保持完整的參數規模。 根據螞蟻團隊的測試，相比等規模的稠密模型，Ling 2.0 的效率提升約 7 倍。
更關鍵的是，這種稀疏策略在 16B、100B 到 1T 三個版本中都能保持穩定表現：
模型版本 | 總參數量 | 每Token激活參數 | 激活比例 | 對應稠密模型性能 |
Ling Mini 2.0 | 160 億 | 14 億 | 1/32 | 約等于 7B-8B |
Ling Flash 2.0 | 1000 億 | 61 億 | 1/32 | 約等于 30B |
Ling 1T | 1 萬億 | 500 億 | 1/32 | 推理旗艦款 |
這意味著：在算力成本幾乎不增加的情況下，模型的推理與知識容量仍在穩步增長。
二、Ling Scaling Laws：從“試出來”到“算出來”的架構選擇
以往大模型架構的選擇常常依賴反復實驗和調參。 但螞蟻團隊采用了更科學的路徑——通過“Ling Scaling Laws”自動推導出最優設計。
他們建立了一個叫 “Ling 風洞（Ling Wind Tunnel）” 的驗證體系：
- 先用一批小型 MoE 模型在相同數據和路由規則下訓練；
- 然后將結果擬合為冪律（Power Law）；
- 最終預測在更大規模下的損失、激活比例和專家平衡點。
結果顯示，1/32 激活比例、256 個路由專家 + 1 個共享專家的配置，在從 16B 到 1T 規模間都是最優解。
這一方法論，讓團隊無需“試錯式”地燒掉 GPU 集群，就能提前預測模型表現，極大降低了超大規模模型的試驗成本。
此外，Ling 2.0 的底層還引入了幾項穩定機制：
- Sigmoid 路由打分（Aux-Loss-Free Routing），避免額外損失函數；
- QK Norm 與部分 RoPE 結合，保持深層模型梯度穩定；
- MTP Loss（多任務預測損失），提高復雜推理時的魯棒性。
簡單來說，Ling 2.0 不只是“更大”，而是“更有規律地變大”。
三、從 4K 到 128K：推理與上下文的“雙螺旋進化”
Ling 2.0 的訓練管線同樣頗具匠心。
它不是一味地堆數據，而是循序漸進地將“推理能力”與“長上下文”結合：
- 初期階段：以 4K 上下文訓練，數據中數學與代碼類樣本逐步增加至語料庫的一半；
- 中期階段：選取 1500 億高質量 Token，將上下文擴展到 32K；
- 推理強化階段：注入 6000 億鏈式思考（CoT）數據；
- 最終階段：通過YaRN方法擴展到 128K 上下文，同時保持短文本性能。
這種“早期引入推理、逐步拉長上下文”的策略，讓 Ling 系列在數學、代碼、邏輯推演等場景中表現異常穩定。 相比許多后期才添加推理數據的模型，Ling 2.0 在深度思考能力上明顯更自然、更連貫。
四、分階段對齊：把“快答”與“深思”分開調教
在模型對齊（Alignment）環節，螞蟻團隊引入了一種獨特的“雙路徑”方案：
- 能力階段（Capability Pass）： 使用“解耦微調（Decoupled Fine-Tuning）”策略，讓模型學會區分快速應答與深度推理兩種模式；
- 演化鏈式思考（Evo-CoT）： 自動擴展并多樣化推理鏈，提升模型自我思考的覆蓋度；
- 偏好階段（Preference Pass）： 在句子級別執行群體競技獎勵（Group Arena Reward），以人類反饋優化回答風格與準確性。
這種“分層對齊”的做法，使 Ling 2.0 在推理性能不犧牲的前提下，回答既高質量又更貼近人類偏好。 特別是在數學推理、代碼生成、指令跟隨任務上，表現接近同級別閉源模型。
五、FP8 與異構流水線：讓萬億參數不再是“天價游戲”
萬億規模模型的最大難題，不在算法，而在訓練成本與硬件利用率。 螞蟻的工程團隊在這里玩出了一整套系統級優化：
- FP8 低精度訓練：在損失曲線僅略低于 BF16 的前提下，硬件利用率提升 15%；
- 異構流水線并行（Heterogeneous Pipeline Parallelism）：在不同 GPU 上交錯執行前向與反向計算，提升整體吞吐 40%；
- Warmup Stable Merge：通過合并檢查點替代傳統學習率衰減，讓超大模型的穩定訓練成為可能。
這些系統堆疊，讓 1T 參數規模的訓練真正“落地”。 也就是說，Ling 2.0 不只是一個模型，更是一套 “可復用的萬億級訓練系統棧”。
六、結果與啟示：稀疏，不等于妥協
最終評測顯示：
- Ling Mini 2.0（16B，總參數）可匹敵 7B-8B 稠密模型；
- Ling Flash 2.0（100B，總參數）保持 1/32 激活，表現穩定；
- Ling 1T（1 萬億參數）在 128K 上下文下展現出強大的邏輯與數學推理能力。
更關鍵的是——這些性能的提升并非來自增加算力，而是源自稀疏激活、科學架構選擇和高效系統工程的協同作用。
螞蟻集團的 Ling 2.0 向業界傳遞了一個清晰信號：
大模型不一定要更“密”，也可以更“聰明”。
未來，當其他機構還在比拼顯卡堆疊時，這類“固定稀疏+推理優先”的架構，或許會成為更主流的道路。
結語：推理時代，模型不再靠堆料取勝
從 GPT 到 Claude，再到如今的 Ling 2.0，我們正在見證一個重要的轉折點： 模型的競爭，不再是誰更大，而是誰更會“思考”。
Ling 2.0 的出現，標志著中國團隊在超大模型工程、推理能力建模與訓練體系化優化上的全面突破。 它不僅是一個模型，更像是一個信號——未來的智能，不在算力極限，而在結構智慧。
?本文轉載自????Halo咯咯??? 作者：基咯咯
