Qwen3家族訓(xùn)練秘籍公開：思考/非思考融進(jìn)一個(gè)模型，大模型蒸餾帶動(dòng)小模型

作者：量子位 2025-05-14 13:22:08

Qwen3系列包括6個(gè)密集模型，參數(shù)量分別為0.6B、1.7B、4B、8B、14B和32B；以及2個(gè)MoE模型，總參數(shù)量分別為30B和235B，激活參數(shù)量對(duì)應(yīng)為3B和22B。

Qwen3技術(shù)報(bào)告新鮮出爐，8款模型背后的關(guān)鍵技術(shù)被揭曉！

采用了雙模式架構(gòu)，一個(gè)模型同時(shí)支持推理和非推理任務(wù)，根據(jù)需要自動(dòng)切換。
訓(xùn)練和微調(diào)過程采取分段式策略，逐步構(gòu)建模型能力。
采取了“大帶小”的模式，從大號(hào)模型中蒸餾數(shù)據(jù)訓(xùn)練小號(hào)模型。

圖片

有已經(jīng)讀完報(bào)告的網(wǎng)友，還發(fā)現(xiàn)了其中的更多亮點(diǎn)。

比如這位Hugging Face研究員感嘆，Qwen3在RL階段的樣本量，竟然不到4k。

圖片

思考/非思考，一個(gè)模型搞定

密集模型的架構(gòu)與Qwen2.5相似，但移除了Qwen2中使用的QKV偏置，并在注意力機(jī)制中引入了QK-Norm，以確保Qwen3的穩(wěn)定訓(xùn)練。

圖片

與Qwen2.5-MoE不同，Qwen3-MoE設(shè)計(jì)不包含共享專家，另外Qwen3采用了全批次負(fù)載均衡損失來促進(jìn)專家專業(yè)化。

圖片

Qwen3的一個(gè)核心創(chuàng)新就是其雙重工作模式，也就是思考模式和非思考模式的融合，兩種模式分別對(duì)應(yīng)了復(fù)雜推理任務(wù)和快速應(yīng)答任務(wù)的需求。

為了靈活地在兩種模式間切換，Qwen3引入了thinking budget（思考預(yù)算）的概念。

Thinking budget本質(zhì)上是一個(gè)決定thinking mode下計(jì)算資源投入的參數(shù)，它的大小與輸入問題的復(fù)雜程度成正相關(guān)。

當(dāng)接收到輸入后，模型會(huì)評(píng)估其復(fù)雜程度，動(dòng)態(tài)分配thinking budget。

簡(jiǎn)單問題會(huì)被分配較少的thinking budget，使得模型傾向于快速給出答案；復(fù)雜問題則會(huì)分配較高的thinking budget，模型會(huì)投入更多算力深入思考后再給出答案。

圖片

Qwen3這樣訓(xùn)練

預(yù)訓(xùn)練環(huán)節(jié)，Qwen3采用了三階段策略，逐步構(gòu)建和強(qiáng)化模型的語言理解和生成能力。

第一階段的目的是讓模型掌握語言和通用基本知識(shí)，這部分的訓(xùn)練在通用語料上進(jìn)行，采用了4096個(gè)token的序列長(zhǎng)度。

第二階段側(cè)重于增強(qiáng)模型的推理能力。此階段采用了更高質(zhì)量的語料，主要來自于STEM、編程、推理等領(lǐng)域。

通過在這些語料上的訓(xùn)練，模型的邏輯分析、因果推理等能力得到了顯著提升。此階段的序列長(zhǎng)度仍為4096個(gè)token，但學(xué)習(xí)率衰減速度加快。

第三階段則專注于長(zhǎng)文本能力，使用了研究團(tuán)隊(duì)專門收集的高質(zhì)量長(zhǎng)文檔語料，并將訓(xùn)練序列長(zhǎng)度擴(kuò)展到了32768個(gè)token。

通過在這些超長(zhǎng)文本上的訓(xùn)練，模型學(xué)會(huì)了處理復(fù)雜的長(zhǎng)距離依賴關(guān)系，掌握了跨段落、跨文檔的信息整合技能。

圖片

后訓(xùn)練同樣采用了分段式的方法，一共可以分為四個(gè)階段。

圖片

第一階段稱為長(zhǎng)思維鏈冷啟動(dòng)，目標(biāo)是為模型在數(shù)學(xué)和編程領(lǐng)域的推理任務(wù)建立初始的解題能力。

Qwen團(tuán)隊(duì)構(gòu)建了一個(gè)包含大量高質(zhì)量數(shù)學(xué)和編程問題的數(shù)據(jù)集，并為每個(gè)問題標(biāo)注了詳細(xì)的解題步驟，然后使用這些標(biāo)注數(shù)據(jù)對(duì)模型進(jìn)行監(jiān)督微調(diào)，使其掌握解題的關(guān)鍵技能和常見思路。

具體來說，他們通過Qwen2.5-72B對(duì)問題進(jìn)行篩選，然后使用QwQ-32B模型自動(dòng)生成初步的解題步驟，這當(dāng)中，人類專家對(duì)這些自動(dòng)生成的解題步驟進(jìn)行核對(duì)和修正，確保其準(zhǔn)確性和可讀性。

這個(gè)階段的訓(xùn)練樣本數(shù)量和訓(xùn)練步數(shù)都被控制在一個(gè)較小的規(guī)模，目的是讓模型掌握基本的解題能力，而不是過度專門化。

圖片

第二階段則是推理強(qiáng)化學(xué)習(xí)，在第一階段的基礎(chǔ)上進(jìn)一步引入了強(qiáng)化學(xué)習(xí)，以優(yōu)化模型的解題策略。

他們從第一階段的數(shù)據(jù)集中篩選出了3995個(gè)問題，這些問題需要覆蓋一定領(lǐng)域、具備一定難度，但可被模型學(xué)習(xí)。

這一階段當(dāng)中，會(huì)通過GRPO對(duì)模型參數(shù)進(jìn)行更新。

圖片

第三階段思維模式融合，顧名思義，目的是將思考和非思考兩種模式融合進(jìn)同一個(gè)模型，這一過程使用了同時(shí)包含思考和非思考內(nèi)容的SFT數(shù)據(jù)集。

對(duì)于思考類型的樣本，Qwen團(tuán)隊(duì)沿用了前兩個(gè)階段的數(shù)據(jù)生成方法；對(duì)于非思考類型的樣本，則是廣泛收集了一些開放域?qū)υ挃?shù)據(jù)，并針對(duì)性地生成了一些問候語、指令等樣本。

此外，團(tuán)隊(duì)還設(shè)計(jì)了一種聊天模板，在輸入側(cè)用一些特殊標(biāo)記來區(qū)分思考和非思考模式。

通過在這個(gè)混合數(shù)據(jù)集上進(jìn)行繼續(xù)預(yù)訓(xùn)練，并融入人類反饋，模型學(xué)會(huì)了根據(jù)輸入信號(hào)靈活切換兩種模式，形成了一個(gè)無縫集成的雙模態(tài)系統(tǒng)。

圖片

最后一個(gè)階段是通用強(qiáng)化學(xué)習(xí)，目的是進(jìn)一步增強(qiáng)模型在多種場(chǎng)景下的能力和穩(wěn)定性。

該階段中，Qwen團(tuán)隊(duì)構(gòu)建了一個(gè)覆蓋廣泛任務(wù)的強(qiáng)化學(xué)習(xí)環(huán)境，包括問答、寫作、代碼生成、數(shù)學(xué)推理等20多個(gè)種類的任務(wù)。每個(gè)任務(wù)都設(shè)計(jì)了獨(dú)特的評(píng)分標(biāo)準(zhǔn)。

并且，這些特別針對(duì)指令遵循、格式遵循、偏好遵循等能力的提升。

圖片