斯坦福：優化器「諸神之戰」？AdamW 憑「穩定」勝出
自 2014 年提出以來，Adam 及其改進版 AdamW 長期占據開放權重語言模型預訓練的主導地位，幫助模型在海量數據下保持穩定并實現較快收斂。
隨著模型規模迅速擴大，預訓練已成為計算密集型任務的典型代表，在大模型研發中往往是最主要的計算開銷。在這種背景下，優化器的設計直接關系到收斂速度與計算成本。
研究者們探索了多種改進方向，其中最快的優化器往往采用矩陣型預條件子（如 Muon、Soap、Kron），相較于經過嚴格調優的 AdamW，可以帶來約 30–40% 的迭代級別加速。
斯坦福大學 Percy Liang 團隊的研究指出，盡管存在許多聲稱能提供顯著加速（1.4 至 2 倍）的替代方案，AdamW 依然是預訓練的穩健首選，但矩陣型方法在特定數據–模型比例下展現出明顯優勢。
- 論文標題：Fantastic Pretraining Optimizers and Where to Find Them
- 論文地址：https://www.arxiv.org/pdf/2509.02046v1
- Github：https://github.com/marin-community/marin/issues/1290
- 博客：https://wandb.ai/marin-community/marin/reports/Fantastic-Optimizers-and-Where-to-Find-Them--VmlldzoxMjgzMzQ2NQ
研究者認為，這種現象可能源于兩個關鍵的方法論缺陷：
- 問題 1：不公平的超參數調優。
基線模型通常調優不足：在常用的 AdamW 基線中，僅僅是調優學習率這一個參數，就能在 1.3 億參數規模的模型上實現 2 倍的加速。
固定共享的超參數并不能保證比較的公平性：例如，與標準的權重衰減值 0.1 相比，Lion 優化器更偏好較高的權重衰減值（如 0.6）。
左：常用的 AdamW 基線存在調優不足的問題。 在 Brown 等人 [2020] 提出、并被后續多項研究采用的 GPT-3 訓練方案中，僅僅針對一個 1 億參數的模型調整學習率這一個超參數，便可實現高達 2 倍的加速，這凸顯了進行恰當超參數優化的重要性。右：在不同優化器之間固定超參數并不能保證比較的公平性。 在以往的研究中，像學習率和權重衰減這類共享超參數通常被設為常量。然而，即使是概念上相似的優化器，其對應的最優超參數也可能大相徑庭。
- 問題 2：測試規模不足
大多數測試僅使用小型模型（參數遠小于 10 億）或遵循 Chinchilla 論文提出的 1 倍數據配比。那么，在更大規模的模型或更高的數據配比下，結果會如何呢？
此外，訓練早期的檢查點也可能產生誤導，在學習率衰減階段，不同方法的損失曲線可能會發生交叉，從而導致最終排名反轉。因此，必須在（不同的）設定下進行訓練結束時的最終評估。
左：加速效果隨模型規模的增大而衰減。 盡管一些優化器在參數量小于 10 億的模型上相比 AdamW 能展現出較高的加速比（1.3-1.4 倍），但當模型規模增至 12 億參數時，其加速比會衰減至僅 1.1 倍。右：基于矩陣的優化器性能穩定優于基于標量的優化器。 該圖展示了三種基于標量的優化器（AdamW, Nesterov AdamW, Mars）和三種基于矩陣的優化器（Kron, Soap, Muon）在不同 Chinchilla 數據配比下訓練時的損失曲線。基于矩陣的優化器相比基于標量的優化器實現了一致的加速效果。此外，在過訓練（overtrained）的情況下，這三種基于矩陣的優化器最終會收斂到相似的損失值。
為了驗證這一假設，研究人員進行了系統性的比較研究，涵蓋了十一種不同的深度學習優化器。他們在多種模型規模（從 1 億到 12 億參數）和數據–模型比例（參照 Chinchilla 最優比例的 1 倍至 8 倍）下，為每一種優化器都進行了嚴謹、獨立的超參數調優。
本研究所使用的優化器。
研究發現：
- 獨立調優至關重要：一個優化器的最優超參數配置往往無法直接遷移到另一種優化器上。如果缺乏獨立調優，不僅比較結果缺乏公平性，而且新優化器相較于精心調優過的 AdamW，實際加速效果遠低于其聲稱的數值。
- 短期評估具有誤導性：僅在短時間訓練窗口內評估優化器性能是不可靠的。隨著訓練的進行和學習率衰減，不同優化器的性能排名可能會發生逆轉，其損失曲線甚至會多次交叉。
- 矩陣方法性能領先：所有速度最快的優化器都采用了基于矩陣的預條件子，而非傳統的逐元素標量縮放。Muon、Soap 和 Kron 等方法，相比嚴格調優后的 AdamW，能夠實現 30–40% 的單步訓練速度提升。
有趣的是，最優選擇也與具體場景相關：在標準 Chinchilla 數據比例下，Muon 表現最佳；而當數據量相對于模型規模的比例提升至 8 倍以上時，Soap 則成為更優的選擇。
方法
研究設計了一套嚴謹的方法論來評估這些優化器，該方法分為三個主要階段。首先是通用設置階段，明確了實驗環境。研究使用了四種不同規模的 Transformer 模型，參數量從 130M 到 1.2B，序列長度均為 4096，并詳細列舉了各模型層數、隱藏維度等具體配置。
所研究的各個模型規模的詳細架構超參數。
數據方面，研究混合使用了 DCLM-baseline、StarCoder V2 和 ProofPile 2 數據集，并使用 LLaMA-3 分詞器進行分詞，確保了訓練數據的豐富性。評估的優化器涵蓋了 AdamW、NAdamW、Mars、Cautious、Lion、Adam-mini、Muon、Scion、Kron (PSGD) 、Soap 和 Sophia，代表了當前深度學習優化領域的主流和前沿方法。
階段 I: 全面參數掃描
研究旨在解決基線優化器超參數調整不當導致其性能被低估的問題。研究采用了坐標下降法，對所有優化器的超參數（包括學習率、權重衰減、預熱步數、β?、β?、ε、最大梯度范數和批次大?。┰陬A設網格上進行了詳盡搜索。
這一階段的實驗設置涵蓋了 130M、300M 和 500M 模型在 1 倍 Chinchilla 數據量下的訓練，以及 130M 模型在 2 倍、4 倍、8 倍 Chinchilla 數據量下的訓練。
研究發現，對每個優化器進行嚴格的超參數調整至關重要，因為不同優化器之間的最優超參數配置差異顯著，盲目遷移超參數會導致不公平的比較。
此外，研究也觀察到，與經過精心調整的基線 AdamW 相比，實際的加速效果普遍低于此前一些研究所聲稱的水平。
階段 II: 敏感超參數識別
研究根據第一階段的結果，識別出那些最優值會隨模型規模變化的敏感超參數，例如學習率和預熱長度。隨后，這些敏感超參數在 300M 和 500M 模型以及 2 倍、4 倍、8 倍 Chinchilla 數據量下進行了進一步的網格搜索。
第一階段與第二階段的主要結果。上圖： 我們繪制了第一階段和第二階段實驗中，模型在 C4/EN 數據集上的驗證集損失。圖中的每一個點都對應于每種優化器在相應的 Chinchilla 數據配比下所能達到的最優損失值。下圖： 我們針對部分優化器，繪制了它們在 HellaSwag 基準上的性能。這些優化器包括：AdamW 基線、性能排名前 2 的基于標量的優化器，以及性能排名前 3 的基于矩陣的優化器。性能數據來自于它們各自最優的運行批次。
通過結合前兩個階段的結果，研究獲得了 12 種不同設置下的近乎最優超參數集及其對應的損失。為了量化不同優化器相對于 AdamW 的加速效果，研究擬合了 AdamW 損失隨數據預算變化的縮放定律，并以此計算出達到相同損失所需的 AdamW 數據量與優化器實際所需數據量之比，作為加速比。
研究發現，基于矩陣的優化器雖然表現普遍優于基于標量的優化器，但其加速比在實際測試中均未超過 1.4 倍。許多替代優化器在小規模模型或有限數據比例下看似具有優勢，但隨著模型規模擴大，這些加速優勢逐漸消失甚至反轉，AdamW 依然是最穩健的預訓練首選。
階段 III: 案例研究
該階段旨在對更大規模的實驗進行深入探索。研究首先檢驗了超參數的擬合程度，通過擬合形式為
的平滑定律，預測了在模型規模 N 和數據規模 D 下的最優設置。
為了驗證這些縮放定律，研究對 1.2B 模型在 1 倍 Chinchilla 數據量下進行了全面掃描，結果顯示預測的配置與實際最優配置之間的性能差異極小，證明了預測的有效性。
隨后，研究進行了兩項案例研究：一是訓練 1.2B 模型在 1 至 8 倍 Chinchilla 數據量下，以檢驗優化器加速效果隨模型規模擴展的變化；二是在 16 倍 Chinchilla 數據量下訓練 130M 和 300M 模型，以觀察在極端數據量與模型比例下的優化器表現。
案例分析。左圖： 在 12 億參數模型上，AdamW、NAdamW、Muon 和 Soap 四種優化器的驗證集損失縮放情況。結果顯示，Muon 和 Soap 相比 AdamW 仍有顯著的加速效果，但相比 NAdamW 已無明顯加速優勢。中圖： 采用與圖 3 相同的方法估算加速比。我們觀察到，Muon 和 Soap 的加速比隨模型規模增大而衰減，最終降至僅 1.1 倍。右圖： 在 3 億參數模型和 16 倍 Chinchilla 數據配比的設定下，實驗結果表明，當數據與模型的比例進一步增大時，Soap 的性能優于 Muon。
這一階段的結果進一步揭示了 Muon 優化器的潛在局限性：盡管 Muon 對高達 1.2B 參數的模型仍有加速效果，但加速比會下降到 1.2 倍以下。在高數據與模型比例（如 16 倍 Chinchilla）下，NAdamW 和 Soap 在 130M 模型上超越了 Muon，且 Soap 在 300M 模型上也超過了 Muon。研究推測，在數據與模型比例很高時，Soap 和 Kron 所維持的二階動量變得更為有效。
更多細節請閱讀原論文。
