開源大模型領域又迎來一位重量級選手。

11月17日，Kimi正式發布了K2模型，這是一個采用混合專家（MoE）架構的大型語言模型，擁有320億激活參數和1.04萬億總參數，訓練數據規模達到15.5萬億tokens。這一發布再次將開源AI模型的競爭推向新的高度。

MuonClip優化器：解決訓練不穩定的關鍵突破

K2模型最引人注目的技術創新之一，是引入了名為MuonClip的新型優化器。

這個優化器在Muon優化器的基礎上，增加了QK-clip技術，專門用于解決大模型訓練過程中的不穩定問題。

團隊通過一系列擴展實驗驗證了MuonClip的有效性。

他們首先使用標準Muon優化器訓練了一個中等規模的模型（90億激活參數，530億總參數），然后測試QK-Clip是否會影響模型性能。結果顯示，MuonClip在保持Muon優化特性的同時，不會對損失軌跡產生負面影響。

在完整規模的Kimi K2模型訓練中，團隊應用了tau值為100的MuonClip，并全程跟蹤最大注意力logits。

在整個訓練過程中，最大logits逐漸降低到正常操作范圍，無需手動調整。團隊將這一結果作為優化器穩定性改進的證據，并報告在預訓練過程中實現了"零損失峰值"。

K2 Thinking：推理能力達到新高度

K2模型提供了兩個版本：基礎版本和K2 Thinking。

后者在推理、編程和智能體能力測試中表現尤為突出，聲稱達到了業界領先水平。

具體來說，K2 Thinking在多個關鍵基準測試中取得了優異成績：

? Humanity's Last Exam (HLE) with tools：44.9%

? BrowseComp：60.2%

? SWE-Bench Verified：71.3%

這些成績讓K2在開源模型領域，特別是在軟件工程和智能體任務方面，展現出強大的泛化能力，成為該領域的有力競爭者。

K2 Thinking的核心優勢在于其長時程規劃和自適應推理能力。模型可以執行200到300個順序工具調用，通過"思考→搜索→瀏覽器使用→思考→編碼"的循環模式，生成和優化假設，同時驗證證據并構建答案。這種方法使模型能夠將模糊、開放性的問題分解為可執行的子任務。

動態資源可用性：訓練基礎設施的創新

K2模型在NVIDIA H800 GPU集群上訓練，每個節點包含2TB內存和8個通過NVLink和NVSwitch連接的GPU。集群使用8×400 Gbps RoCE互連進行跨節點通信。

團隊設計了一個靈活的并行策略，允許在32的倍數個節點上進行訓練，這解決了大語言模型訓練過程中動態資源可用性的問題。這種設計使得訓練過程更加靈活，能夠適應不同規模的硬件資源。

為了管理內存使用，團隊對特定操作應用了選擇性重計算，包括LayerNorm、SwiGLU和多頭潛在注意力（MLA）上投影，選擇了他們描述為"成本低但占用內存高"的階段。訓練過程還重計算MoE下投影，以進一步減少激活內存需求。

量化感知訓練：推理效率的突破

對于推理模型來說，推理效率是一個關鍵挑戰。雖然低比特量化可以減少推理延遲和GPU內存使用，但思考模型會生成長輸出序列，在量化時通常會導致性能下降。

Kimi在訓練后階段應用了量化感知訓練（QAT），在MoE組件上使用INT4僅權重量化。這一實現使K2 Thinking能夠運行原生INT4推理，生成速度提升約2倍，同時保持模型質量。

獨立測試者Awni Hannun在Apple Silicon上測試了K2 Thinking，報告的性能結果證明了該模型在數據中心基礎設施之外的可用性。Hannun表示：

"新的1萬億參數Kimi K2 Thinking模型在2個M3 Ultra上以原生格式運行良好——質量沒有損失！模型在int4時進行了量化感知訓練（qat）。在這里，它使用mlx-lm中的流水線并行生成了約3500個tokens，速度為15 toks/sec。"

商業使用要求：開源但有限制

Kimi K2的許可證包含商業使用要求。使用該模型或其衍生品用于商業產品或服務的組織，如果月活躍用戶超過1億或月收入超過2000萬美元，必須在這些產品或服務的用戶界面上顯著顯示"Kimi K2"。

這一歸屬要求使K2的許可證與標準開源許可證區別開來，后者通常不要求大規模商業部署時在用戶界面顯示致謝。

業界評價：開源模型的新標桿

提供AI模型獨立分析的Artificial Analysis表示：

"Kimi K2 Thinking是新的領先開源權重模型：它在智能體場景中表現出特別的優勢，但生成內容較為冗長，在完成我們的Intelligence Index評估時生成的tokens數量是所有模型中最多的。"

一位Hacker News評論者指出：

"模型之間的最終競爭最終將演變為能源競爭。中國的開源模型在能耗方面具有重大優勢，而中國本身在能源資源方面也有巨大優勢。它們可能不一定超過美國，但可能也不會落后太多。"

Kimi K2進入了一個競爭激烈的開源模型領域，其中包括同樣專注于擴展推理的DeepSeek-R1、阿里巴巴的Qwen模型（帶有用于推理任務的QwQ）、Mistral的Mixtral MoE系列，以及Meta的Llama 3家族。

獲取和使用

K2 Thinking變體可在kimi.com和Moonshot API平臺上使用。

團隊已在Hugging Face上發布了模型權重，技術細節和實施指導都可以訪問。完整的API文檔可在Moonshot平臺上獲得，為希望將K2集成到其應用程序中的開發人員提供集成規范。

隨著K2的發布，開源AI模型領域的競爭變得更加激烈。無論是技術創新、性能表現，還是實際應用，K2都展現出了強大的競爭力。對于開發者和企業來說，這意味著有了更多選擇，也意味著AI應用的門檻將進一步降低。