K2、M2之后LLM架構還會有哪些變化？
大家好，最近Kimi K2 Thinking 與MiniMax-M2的開源帶火了國產大模型。但在這背后，我們是否真正看到了LLM架構突破性的變化，還是僅僅在打磨相同的架構基礎？
LLM架構子集：Kimi 2，Kimi K2 Thinking，MiniMax-M1、MiniMax-M2，Kimi Linear，Qwen3-Next
前文回顧：???從DeepSeek-V3到Kimi K2：八種現代 LLM 架構大比較??
Kimi K2 與 Kimi K2 Thinking
2025 年 11 月 6 日，Kimi 團隊又發布了“Thinking”版。架構與上述 K2 完全一致，僅把上下文長度從 128k 提升到 256k。
官方基準顯示，該版本甚至超越了當前最強的閉源 LLM（可惜未與 DeepSeek R1 直接對比）。
DeepSeek R1 與 Kimi K2 Thinking 架構對比（上）及 Kimi K2 Thinking 基準成績（下）。
Kimi 2（高達 1 萬億參數）采用了DeepSeek V3的架構，并進行了擴展。它使用了Muon優化器而非AdamW，這可能是其訓練損失曲線表現優異的原因之一。此外，Kimi 2在MoE模塊中使用了更多的專家，在MLA模塊中使用了更少的頭。
DeepSeek V3 與 Kimi K2 架構對比。
這些設計使得Kimi 2在訓練過程中表現優異，訓練損失曲線平滑且下降迅速。這可能有助于該模型躍居上述基準測試的榜首
MiniMax-M2
最近，新作 MiniMax-M2 目前已被視為最強的開源權重模型（按基準成績）。
MiniMax-M2 與主流開源 / 閉源模型的基準對比。
如下面總覽圖所示，我把 MiniMax-M2 歸在“解碼器風格 Transformer”一列——它沒再用 M1 的高效 Lightning Attention，而是回歸全注意力，顯然是為了換回建模（與 benchmark）性能。
本文涉及的主要 LLM 時間線，以及幾條“注意力-混合”高效方案。
整體來看，MiniMax-M2 與 Qwen3 驚人地相似：除了層數、尺寸等不同，組件幾乎一一對應。
模塊 | 關鍵設計 | 備注 |
QK-Norm | 逐頭 RMSNorm | 每層、每頭獨立縮放參數，提升穩定性 |
位置編碼 | Partial RoPE | 僅旋轉前 rotary_dim 通道，利于外推 |
MoE | 無共享專家，每 token 激活 10 B 參數 | 總參 235 B，稀疏度 4.37 % |
Kimi Linear
最近，線性注意力機制又一次翻紅，目標直指 LLM 的效率瓶頸。
2017 年《Attention Is All You Need》提出的縮放點積注意力仍是當今 LLM 的絕對主流。除了傳統多頭注意力，它還被包裝成各種高效變體：分組查詢注意力（GQA）、滑動窗口注意力（SWA）、多頭潛在注意力（MLA）等。
1 傳統注意力 = 二次方代價
原始注意力隨序列長度 ??n?? 呈二次方增長：??Q/K/V??? 均為 ??n×d??? 矩陣 → 計算 ??QK^???? 需要 ??O(n2d)?? 時間與顯存。
序列長度 n 帶來的二次方開銷示意。
2 線性注意力：老梗新談
線性注意力并非新鮮事——2020 年起就論文成山。例：Transformers are RNNs: Fast Autoregressive Transformers with Linear Attention（2020）用核技巧近似，繞過顯式的 ??n×n??? 注意力矩陣，把復雜度降到 ??O(n)?? 時間與顯存。然而，這些早期方案掉點明顯，始終沒能在開源 SOTA 模型里落地。
3 線性注意力復興
今年下半年劇情反轉：
時間 | 模型 | 動作 |
6 月 | MiniMax-M1 | 456 B MoE，46 B 活躍，Lightning Attention 上陣 |
8 月 | Qwen3-Next | 大部分層換成 DeltaNet（線性門控注意力） |
9 月 | DeepSeek V3.2 | 引入 稀疏線性注意力 |
就當大家以為“線性 Attention 穩了”時，MiniMax 團隊反手發布 230 B 的 M2——棄用線性，回歸全注意力。官方直言：
線性注意力在推理與多輪對話場景精度拉胯，而這兩塊恰是聊天與 Agent 應用的核心。
故事本該到此結束，然而——
10 月，Kimi 團隊拋出 Kimi Linear，再次把線性注意力請回舞臺。
線性注意力混合架構一覽
Kimi Linear vs. Qwen3-Next
Kimi Linear 與 Qwen3-Next 在骨架上“撞車”：雙方都采用 混合注意力策略——3 份輕量化線性注意力 + 1 份重火力全注意力，比例鎖定 3:1，如下圖。
Qwen3-Next 與 Kimi Linear 并排對比。
Gated DeltaNet 本質是“線性注意力 + RNN 門控”的混血，思想來自論文《Gated Delta Networks: Improving Mamba2 with Delta Rule》。一句話：DeltaNet 是線性注意力，Gated DeltaNet 再給 DeltaNet 裝上 Mamba 風格的門控。
圖中 Kimi Linear 部分故意沒畫 RoPE 框，因為 Kimi 在全局 MLA 層里直接用了 NoPE（No Positional Embedding）。作者稱這能讓 MLA 在推理時退化成純多查詢注意力，省掉為長文本重調 RoPE 的麻煩；位置偏差交由 Kimi Delta Attention 塊暗中消化。對 MLA / 多查詢注意力背景知識
Qwen3-Next
2025 年 9 月 11 日，Qwen3 團隊發布 Qwen3-Next 80B-A3B，同步推出 Instruct 與 Thinking 兩版。
1 專家數量與尺寸
新架構最顯眼的是：
- 總參數量僅為前代 235B-A22B 的 1/3，卻塞進4 倍數量的專家；
- 額外增加1 個共享專家。
這兩條恰好是我之前在視頻版文章里預測的下一步方向——“小專家 + 共享專家”。
5 月發布的原版 Qwen3（左）與 9 月發布的 Qwen3 Next（右）對比。
2 Gated DeltaNet + Gated Attention 混合
另一大變動：用 “Gated DeltaNet + Gated Attention” 混合模塊取代全部常規注意力，從而把原生上下文長度從 32 k（235B-A22B）一舉拉到 262 k（無需 YaRN 外推）。
混合比例
每 3 個 DeltaNet 塊插 1 個 Gated Attention 塊，比例 3:1。
Gated DeltaNet + Gated Attention 混合示意。
Gated Attention 塊 ≈ “加強版 GQA”
- 輸出門（sigmoid 逐通道縮放）給注意力結果加權重；
- Zero-centered RMSNorm做 QK-Norm；
- Partial RoPE（僅部分維度旋轉）?！?本質是給 GQA 打“穩定性補丁”。
Gated DeltaNet 塊 = 線性時間記憶
- 用輕量卷積 + 線性投影生成 q, k, v 與兩門控 α, β；
- 完全去掉 softmax 注意力，改用快速權重 Δ 規則更新一小塊記憶；
- 記憶用 q 讀取，時間與緩存均 **O(n)**，對標 Mamba 的 SSM 思路。→ 代價：內容尋址精度下降，因此必須留 1 層 Gated Attention 救場。
3 多 token 預測（MTP）
效率提速的“第三板斧”：Multi-Token Prediction。
- 訓練階段：在每個位置 t 額外掛k 個輕量頭（論文推薦 k=4），同時預測 t+1…t+k；
- 損失 = 原始交叉熵 + k 步預測交叉熵之和；
- 推理階段：可扔掉 MTP 頭，也可用它做投機解碼（speculative decoding）。
這么多年過去，LLM 發布依舊讓人上頭——下一站驚喜在哪兒？拭目以待。
https://sebastianraschka.com/blog/2025/the-big-llm-architecture-comparison.html本文轉載自??PaperAgent??
