超越GPT-4o！華人團隊新框架讓Qwen跨領域推理提升10%，刷新12項基準測試
一項新的強化學習方法，直接讓Qwen性能大增，GPT-4o被趕超！
來自加拿大滑鐵盧大學與TikTok新加坡，M-A-P的華人團隊提出了一種全新訓練框架：General-Reasoner。
結果直接讓Qwen系列大模型的跨領域推理準確率提升近10%，在多個基準測試中甚至超越GPT-4o。
上圖顯示出General-Reasoner在多項跨領域評測中顯著提升基礎模型推理能力。
當前，強化學習（RL）被視為提升模型推理能力的關鍵手段。其中，Zero-RL方法通過直接訓練基礎模型，已在數學和編程等結構化任務上展現出強大效果。
問題是，這些方法往往局限于數據豐富、答案結構清晰的領域，在面對物理、金融或人文社科等更廣泛的領域時，模型難以有效泛化。
接下來看看研究團隊是如何解決這些推理難題的？
相較現有方法的關鍵革新
目前的Zero-RL框架如SimpleRL通常聚焦于單一領域數據，采用簡單的規則式答案驗證，存在以下不足：
- 數據單一多為數學競賽或代碼任務，泛化能力有限；
- 驗證方式僵化僅能識別明確結構化答案，無法靈活處理多樣化的答案表述。
針對這些問題，General-Reasoner提出兩個核心創新：
全領域推理數據集（WebInstruct-verified）
通過大規模網絡爬取與嚴格篩選，創建了覆蓋物理、化學、金融等多個領域約23萬個高質量、可驗證的推理問題。
為了支持更廣泛的跨領域推理能力，研究團隊構建了一個大規模、多樣且高質量的可驗證推理任務數據集。
數據最初來源于WebInstruct，其中包含約500萬個從StackExchange和教育門戶網站爬取的自然指令。這些數據雖然適用于一般的指令調優，但大部分缺乏可驗證答案或推理結構。
研究人員追溯數據源網頁提取問題-答案對，并剔除沒有明確人類答案的問題以確保質量。
隨后利用Gemini-1.5-Pro識別具有簡潔答案的可驗證問題，獲得100萬個候選問題。再通過Gemini-2.0-Flash進行元數據標注，并適當減少簡單的數學問題以保持數據平衡。
進一步質量篩選時，研究人員使用Gemini-2.0-Flash生成8個候選答案：
- 剔除所有8個候選答案均錯誤的問題（模糊或噪聲）；
- 剔除所有8個候選答案均正確的問題（過于簡單）。
最終的高質量示例用于訓練此框架的模型驗證器。
生成的數據集涵蓋約23萬道具有不同答案格式和主題的推理問題。
上圖為WebInstruct-Verified數據生成過程以及最終答案種類和學科種類的分布
生成式答案驗證器（General-Verifier）
以僅有1.5B參數的小型生成式模型，取代傳統規則式驗證，大幅提高了不同領域答案的驗證準確率。
傳統的規則式驗證器通常依賴嚴格匹配或符號比較進行答案判定，雖然適合數學任務，但在更廣泛的推理領域存在明顯不足，如匹配規則僵化，缺乏語義理解，難以適應復雜領域。
為克服這些局限，研究人員開發了一個緊湊的生成式模型驗證器（General-Verifier）。此模型以僅1.5B參數，通過團隊自建的數據集從Qwen2.5-Math-1.5B模型微調而成。
General-Verifier接收問題、標準答案和模型生成的答案后，生成一個推理過程，隨后輸出一個二元（對/錯）判定結果，為強化學習提供準確且可解釋的反饋信號。
實測顯示，這種新型驗證器與Gemini-2.0-Flash高度一致，并顯著超越傳統規則式方法，具有更高的魯棒性與泛化能力。
△傳統規則式答案驗證與生成式模型驗證的比較
性能實測
團隊以Qwen2.5/Qwen3系列模型（4B/7B/14B）為基礎，進行了包括MMLU-Pro、GPQA、SuperGPQA、TheoremQA等12個基準測試，結果表明：
- 在跨領域任務中，General-Reasoner相比基礎模型提升約10%。例如，基于Qwen2.5-7B-Base的General-Reasoner在MMLU-Pro的準確率達到58.9%，高于基礎模型（47.7%）和指令模型（57.0%）；
- 在數學推理任務中，表現略優于專業的數學強化學習框架SimpleRL；
- 最優模型General-Reasoner-Qw3-14B在多個基準測試中可匹敵甚至超越GPT-4o。例如，General-Reasoner-Qwen3-14B在GPQA任務中的準確率達56.1%，在TheoremQA任務中達54.4%，均超越GPT-4o。
上表為General-Reasoner與基準方法在MMLU-Pro，GPQA，SuperGPQA，TheoremQA和BBEH測試集上的詳細比較。
未來展望
研究團隊表示，將繼續優化模型性能，擴展更多領域的高質量推理數據，并持續提升驗證器魯棒性，推動大語言模型在更復雜現實任務中的廣泛應用。
相關論文與項目資源已公開發布，感興趣的讀者可進一步探索。
論文鏈接：https://arxiv.org/abs/2505.14652
資源鏈接：https://tiger-ai-lab.github.io/General-Reasoner/
