DAPO：面向開源大語言模型的解耦裁剪與動態采樣策略優化系統
在人工智能技術快速迭代發展的背景下，大語言模型（LLMs）已成為自然語言處理與生成領域的核心技術。然而，將這些模型與人類偏好精確對齊并增強其復雜推理能力的挑戰，促使研究者開發了一系列復雜的強化學習（RL）技術。DAPO（解耦裁剪和動態采樣策略優化，Decoupled Clip and Dynamic Sampling Policy Optimization）作為一個突破性的開源大語言模型強化學習系統應運而生，為該領域帶來了技術變革。本文將系統分析DAPO的技術架構、算法創新及其對人工智能研究發展的長期影響。
大型語言模型的推理能力隨著規模擴展呈現前所未有的提升，而強化學習技術已成為引導和增強復雜推理過程的關鍵方法論。當前最先進的推理型大語言模型的核心技術細節往往不透明（例如OpenAI的o1技術和DeepSeek R1技術報告），導致學術社區難以復現其RL訓練成果。字節跳動提出的解耦裁剪和動態采樣策略優化(DAPO)算法，完整開源了一套最先進的大規模RL系統，該系統基于Qwen2.5-32B基礎模型在AIME 2024測試中取得了50分的優異成績。與之前不透明的工作不同，DAPO論文詳細介紹了四種使大規模LLM RL成功的關鍵算法技術。此外字節跳動還開源了基于verl框架構建的訓練代碼及經過精心策劃和處理的數據集。這些開源組件提高了技術的可復現性，并為大規模LLM RL領域的未來研究奠定了堅實基礎。
DAPO在Qwen2.5-32B基礎模型上的AIME 2024評分，僅使用50%的訓練步驟就超越了之前最先進的DeepSeekR1-Zero-Qwen-32B模型。
DAPO技術優勢
DAPO的技術成就極為顯著。基于Qwen2.5-32B基礎模型，DAPO在AIME 2024基準測試中獲得了50分的卓越成績，超越了之前由DeepSeek-R1-Zero-Qwen-32B創下的最高水平。更值得注意的是，DAPO僅使用了前代系統50%的訓練步驟就實現了這一突破，充分展示了其算法效率和有效性。
在眾多大語言模型訓練系統中，DAPO的技術差異化優勢主要源于其創新的強化學習方法和算法設計。以下將深入探討驅動這一革命性強化學習系統的核心技術創新。
核心技術創新
DAPO的卓越性能建立在四項關鍵技術創新基礎上，每項創新都針對性解決了大規模大語言模型強化學習中的特定挑戰：
Clip-Higher策略：增強模型探索能力
強化學習訓練過程中的一個主要挑戰是熵坍塌現象（entropy collapse），即模型策略逐漸變得過于確定性，限制了其探索新解決方案的能力。DAPO通過創新的Clip-Higher策略直接應對了這一問題。
傳統方法采用對稱裁剪范圍以穩定訓練過程，但這種方法可能無意中限制了低概率令牌概率增加的可能性。DAPO的Clip-Higher策略將下限裁剪范圍（εlow）和上限裁剪范圍（εhigh）解耦，允許系統更靈活地增加低概率令牌的概率值。
應用Clip-Higher策略前后，RL訓練過程中參與者模型在AIME測試集上的準確率和生成概率熵的變化。
通過設置更高的上限裁剪閾值，DAPO有效促進了策略探索并防止模型過早收斂到次優解。這種方法顯著增強了策略的熵值，使模型能夠生成更多樣化且高質量的響應。最終結果是一個具備更強創造性思維能力并能適應廣泛應用場景的模型。
動態采樣：優化梯度效率
在強化學習框架下，不同訓練樣本對學習過程的貢獻存在顯著差異。傳統RL算法通常難以有效處理具有極端獎勵值的提示（獎勵=1表示完美準確，獎勵=0表示完全失敗），因為這些樣本對學習過程貢獻的梯度接近于零。隨著訓練過程中此類提示數量的增加，訓練效率問題變得更為嚴重，導致有效樣本量減少和訓練效率下降。
DAPO的動態采樣技術通過智能篩選訓練數據解決了這一挑戰。該技術對具有中間獎勵值（0 < 獎勵 < 1）的提示進行過采樣，同時過濾掉貢獻零梯度的提示。這確保了每個訓練批次中的樣本都能有效貢獻于梯度更新，維持穩定且充分的有效樣本量。
盡管這種方法確實引入了一定的額外采樣開銷，但其帶來的性能收益遠超成本。動態采樣通過減少訓練所需的總步驟數加速了模型收斂，使訓練過程更加高效和經濟。
令牌級策略梯度損失：均衡學習過程
長思維鏈（long-CoT）推理能力是先進大語言模型的核心特性，但在訓練過程中帶來了特殊挑戰。傳統的樣本級損失計算方法可能不成比例地加權較短響應，從而削弱模型學習長響應中復雜推理模式的能力。此外低質量的長響應（如包含無意義或重復模式）未能得到有效懲罰，導致熵值和響應長度不受控制地增加。
DAPO引入了令牌級策略梯度損失計算方法應對這些問題。這一創新方法通過賦予每個令牌相同的重要性（無論響應長度如何）重新平衡了訓練過程。最終實現了一個更精細的學習機制，具體表現為：
- 強化長響應中的高質量推理模式
- 有效抑制低質量模式
- 確保更穩定高效的訓練過程
- 促進響應長度和熵值的合理增長
參與者模型概率分布的熵以及響應長度的變化曲線。由于傳統方法中所有樣本在損失計算中被賦予相同權重，較長響應中的令牌（包含更多token）對整體損失的貢獻比例相對較低，這可能導致兩種不良后果：首先，對于高質量的長樣本，這種效應可能阻礙模型學習其中包含的復雜推理模式；其次，實驗觀察表明過長的樣本往往表現出低質量特征，如無意義重復和冗余表達。因此，樣本級損失計算由于無法有效懲罰長樣本中的不良模式，導致模型熵值和響應長度不受控制地增加。
通過專注于令牌級別的優化，DAPO能夠更精確地捕捉復雜推理鏈中的細微關系，產生更連貫且邏輯嚴密的輸出。
過長響應獎勵塑造：平滑長度優化路徑
在追求全面響應的過程中，大語言模型常常生成過長的輸出。處理這一問題的傳統方法通常采用硬截斷機制，這可能在訓練過程中引入不必要的噪聲，并可能僅因長度問題而懲罰本質上有效的推理過程。
DAPO的過長響應獎勵塑造技術引入了一種更精細的、長度感知的懲罰機制。這種方法對超過預設最大長度的響應實施漸進式懲罰，為模型提供更平滑的訓練信號。該技術的主要優勢包括：
- 鼓勵模型生成簡潔而完整的響應
- 避免可能擾亂訓練過程的突然截斷懲罰
- 顯著提高訓練穩定性和模型性能
- 使模型能夠自然學習最優響應長度
應用過長響應獎勵塑造策略前后，參與者模型在AIME上的準確率和生成概率熵的變化。
通過實施過長響應獎勵塑造機制，DAPO確保模型學會在響應的詳盡性與簡潔性之間取得平衡，這是實際應用場景中的關鍵能力。
Verl框架及系統組件
DAPO的卓越性能建立在先進技術架構和精心設計的系統資源基礎上。DAPO實現的核心是Verl框架——一個專為大語言模型設計的高效靈活的強化學習訓練庫。
應用于DAPO的漸進技術的主要實驗結果。觀察到的性能提升證明了這些技術在RL訓練中的有效性，每種技術都為AIME 2024測試貢獻了顯著的準確率提升。值得注意的是，在原始GRPO設置下，從Qwen2.5-32B基礎模型訓練僅能達到30%的準確率。
Verl框架提供了幾項關鍵技術優勢，直接促成了DAPO的成功：
算法靈活性：Verl支持多種RL算法并提供便捷的擴展機制，使DAPO的創新技術得以高效實現。
集成能力：通過解耦計算和數據依賴關系，Verl能夠與現有LLM框架（如FSDP、Megatron-LM和vLLM）無縫集成。
可擴展性和資源優化：Verl對靈活設備映射的支持優化了模型在不同GPU集群間的分布，提高了計算資源利用率和系統可擴展性。
技術兼容性：Verl與Hugging Face和Modelscope Hub的主流模型完全兼容，包括DAPO創新性能中使用的Qwen-2.5模型系列。
除核心框架外，DAPO的完整實現還包括以下關鍵組件：
開源訓練代碼：DAPO的完整代碼基礎設施向研究社區公開，增強了技術透明度和結果可復現性。
綜合訓練數據集：DAPO利用精心構建的DAPO-Math-17K數據集，該數據集包含從權威平臺收集并經過標準化處理的17,000個數學問題。
標準化驗證數據集：AIME 2024數據集作為評估DAPO性能的嚴格基準測試。
即用型訓練腳本：DAPO提供完整的訓練腳本，包括標準版本和集成動態采樣的版本，便于研究人員快速復現并基于現有成果進行創新。
DAPO學習過程的特征分析
使用強化學習訓練大語言模型是一個包含探索、利用和持續改進的復雜過程。DAPO的訓練動態分析提供了關于系統如何隨時間演化和自我優化的重要洞察：
響應長度的演變：隨著訓練進行，DAPO展現出響應長度的穩定增長趨勢。這種增長模式表明模型探索和生成更復雜推理結構的能力在持續擴展。
獎勵分數的進階：獎勵分數的持續上升曲線反映了DAPO成功適應訓練分布的能力，逐步學習生成更符合預期結果的高質量響應。
熵值與平均概率的平衡：DAPO在熵（探索能力）和平均概率（利用能力）之間維持了健康平衡。這種平衡對于生成多樣化且相關的響應至關重要。
反思性推理能力的涌現：DAPO訓練過程中最顯著的特征之一是反思性推理行為的自然涌現。隨著訓練深入，模型開始展示出回溯、自我糾正和迭代改進推理過程的能力。這一現象展示了DAPO超越簡單模式匹配，邁向復雜問題解決策略的潛力。
DAPO的響應長度、獎勵分數、生成熵和平均概率的指標曲線，這些曲線展示了RL訓練的動態特性，同時作為識別潛在問題的基本監控指標。后續實驗證明，維持熵值的緩慢上升趨勢有利于模型性能的持續提升。
加速AI研究的普及
DAPO對AI研究社區最重要的貢獻之一是其對開源原則的堅定承諾。通過向全球研究人員和開發者提供完整系統，DAPO正在促進尖端AI技術的普及。DAPO的開源組件包括：
- 詳細的算法規范文檔
- 完整的代碼基礎設施
- 經過精心整理的訓練和驗證數據集
- 全面的實現腳本和技術指南
這種開放策略為AI社區帶來了幾項關鍵優勢：
- 結果可復現性：研究人員能夠輕松驗證并基于DAPO的成果進行迭代，建立技術信任并加速領域進展。
- 跨機構協作：DAPO的開源性質促進了跨組織和國際邊界的合作研究，匯集全球智力資源共同應對復雜AI挑戰。
- 知識傳播：學生和新興研究人員能夠通過實際操作學習最先進的RL技術，縮小理論與實踐之間的差距。
- 創新加速：通過提供堅實的技術基礎，DAPO使研究人員能夠專注于拓展LLM訓練的可能性邊界，而非重復基礎工作。
強化學習過程中反思行為的自然涌現。例如，在模型訓練的初始階段，幾乎不存在檢查和反思先前推理步驟的行為。然而，隨著訓練的深入，模型逐漸展現出明顯的反思和回溯能力，如表中所示。這一觀察為進一步探索RL過程中推理能力涌現機制提供了重要線索，這將是未來研究的重要方向。
總結
DAPO代表了大語言模型與強化學習技術融合發展的重要里程碑。通過系統解決長思維鏈推理、探索-利用平衡和訓練效率等關鍵技術挑戰，DAPO為開源大語言模型訓練設立了新的技術標準。
系統在AIME 2024等嚴格基準測試上取得的領先性能，以及實現這一性能的卓越效率，充分展示了創新RL技術應用于大語言模型的潛力。此外，DAPO對開源原則的堅定承諾確保其技術進步將在整個AI研究社區產生持續影響，促進更廣泛的技術創新和學術合作。
在AI研究進入新時代的關鍵節點，DAPO既是一個強大的技術工具，也是一個重要的思想靈感源泉。它促使我們從創新角度思考大語言模型訓練面臨的根本性挑戰，并提供了系統性解決這些挑戰的技術路徑。
論文：
