最近，OpenAI 發了一篇論文，宣稱 o3 模型在 2024 IOI 上達到了金牌水平，并且在 CodeForces 上獲得了與精英級人類相當的得分。

他們是怎么做到的呢？OpenAI 在論文開篇就用一句話進行了總結：「將強化學習應用于大型語言模型（LLM）可顯著提高在復雜編程和推理任務上的性能。」

• 論文標題：Competitive Programming with Large Reasoning Models
• 論文地址：https://arxiv.org/pdf/2502.06807

這兩天，這篇論文又引起了廣泛熱議，尤其是其中被博主 Matthew Berman 指出的關鍵：這種策略不僅適用于編程，它還是通往 AGI 及更遠未來的最清晰路徑。

也就是說，這篇論文不僅僅是展示了 AI 編程的新成績，更是給出了一份創造世界最佳 AI 程序員乃至 AGI 的藍圖。正如 OpenAI 在論文中寫到的那樣：「這些結果表明，擴展通用強化學習，而不是依賴特定領域的技術，能為在推理領域（例如競技編程）實現 SOTA AI 提供一條穩健的路徑。」

此外，這篇論文還特別提到，中國的 DeepSeek-R1 和 Kimi k1.5 通過獨立研究顯示，利用思維鏈（CoT）學習方法可顯著提升模型在數學解題與編程挑戰中的綜合表現，這也是 o1 此前沒有公開過的「配方」—— 直到前些天才半遮半掩地揭示一些，參閱機器之心報道《感謝 DeepSeek，ChatGPT 開始公開 o3 思維鏈，但不完整》。（1 月 20 日，DeepSeek 和 Kimi 在同一天發布推理模型 R1 和 k1.5，兩個模型均有超越 OpenAI o1 的表現。）

下面，我們先看看這篇論文的核心內容，然后再看看 Matthew Berman 為什么說擴展通用強化學習是「通往 AGI 及更遠未來的最清晰路徑」。

OpenAI 從自家的三個模型入手，這三個模型分別是 o1  、 o1-ioi 以及 o3。

OpenAI o1 ：在競爭性編程任務上的性能大幅提升

o1 是一個通過強化學習訓練的大型語言模型，旨在解決復雜的推理任務。

在回答問題之前，o1 會先生成一個內部思維鏈，并且用強化學習完善這種思維鏈過程，幫助模型識別和糾正錯誤，將復雜任務分解為可管理的部分，并在一種方法失敗時探索替代的解決方案路徑。這些上下文推理能力顯著提升了 o1 在廣泛任務上的整體表現。

Kimi 研究員 Flood Sung 也談到了推理模型 Kimi k1.5 的研發過程也有類似的發現，他指出：「長思維鏈的有效性曾在 Kimi 內部得到驗證，使用很小的模型，訓練模型做幾十位的加減乘除運算，將細粒度的運算過程合成出來變成很長的 CoT 數據做 SFT，就可以獲得非常好的效果。」他說，「依然記得當時看到那個效果的震撼。」

除此之外，o1 還可調用外部工具驗證代碼。

不同模型在 CodeForces 基準上的表現。

OpenAI 將 o1 與非推理型大語言模型（gpt-4o）以及早期的推理模型（o1-preview）進行了對比。

圖 1 展示了 o1-preview 和 o1 都顯著優于 gpt-4o，這凸顯了強化學習在復雜推理任務中的有效性。

o1-preview 模型在 CodeForces 上的評分達到了 1258 分，相比 gpt-4o 的 808 分有了顯著提升。進一步的訓練將 o1 的評分提升至 1673，為 AI 在競爭性編程中的表現樹立了新的里程碑。

 OpenAI o1-ioi：增加強化學習和測試時推理就能帶來大幅提升

OpenAI 在開發和評估 OpenAI o1 的過程中，他們發現增加 RL 計算量和測試時推理計算量都能持續提升模型性能。

如圖 2 所示，擴展 RL 訓練和延長測試時推理可以顯著提升模型性能。基于這些洞見，OpenAI 創建了 o1-ioi 系統。

他們從以下方面來實現。

第一步是擴展 OpenAI o1 的強化學習階段，重點關注編碼任務。具體如下：

• 從 OpenAI o1 檢查點開始繼續強化學習訓練；
• 特別強調了具有挑戰性的編程問題，幫助模型改進 C++ 生成和運行時檢查。
• 指導模型以 IOI 提交格式生成輸出。

在高層次上，OpenAI 將每個 IOI 問題分解為子任務，并為每個子任務從 o1-ioi 中采樣了 10,000 個解決方案，然后采用基于聚類和重新排名的方法來決定從這些解決方案中提交哪些。

圖 3 顯示，o1-ioi 的 CodeForces 評分達到 1807，超過 93% 的競爭對手 —— 這證明了在編碼任務上進行額外的 RL 訓練可以帶來明顯的改進。

這些結果證實，特定領域的 RL 微調與高級選擇啟發式相結合可以顯著提高編程結果。

圖 4 為 IOI 比賽結果。在比賽期間，系統為每道問題生成了 10,000 個候選解決方案，并使用測試時選擇策略從中篩選出 50 次提交。最終，模型獲得了 213 分，排名位于前 49 % 。

OpenAI o3：無需人類的強化學習效果卓越

基于從 o1 和 o1-ioi 獲得的洞見，OpenAI 又探索了僅依賴強化學習（RL）結果如何，而不依賴于人為設計的測試時策略。

甚至 OpenAI 試圖探索進一步的 RL 訓練，模型是否能夠自主開發和執行自己的測試時推理策略。

為此，OpenAI 使用了 o3 的早期檢查點，以評估其在競技編程任務上的表現。

如圖 5 所示，進一步的強化學習（RL）訓練顯著提升了 o1 和完整 o1-ioi 系統的表現。o3 能夠以更高的可靠性解決更廣泛的復雜算法問題，使其能力更接近 CodeForces 上的頂級人類程序員。

圖 7 為模型在 IOI 2024 上的最終得分。2024 年比賽的總分上限為 600 分，金牌的分數線約為 360 分。

以下是關鍵結果：

o1-ioi 在 50 次提交的限制下獲得了 213 分，而在 10,000 次提交的限制下提升至 362.14 分，略高于金牌分數線。

o3 在 50 次提交的限制下獲得了 395.64 分，超過了金牌分數線。

這些結果表明，o3 在不依賴針對 IOI 手工設計的測試時策略的情況下，表現優于 o1-ioi。相反，o3 在訓練過程中自然涌現的復雜測試時技術（例如生成暴力解法以驗證輸出）足以替代 o1-ioi 所需的手工設計的聚類和選擇流程。

總體而言，在 IOI 2024 上的結果證實，僅通過大規模強化學習訓練即可實現最先進的編程和推理性能。通過獨立學習生成、評估和優化解決方案，o3 超越了 o1-ioi，而無需依賴領域特定的啟發式方法或基于聚類的方法。

另外，在 CodeForces 上，如前圖 5 所示，o3 的成績達到了 2724 分，已經進入了全球前 200 名。

該論文的作者之一 Ahmed El-Kishky 在 ?? 上分享了一個有趣的發現。他表示，他們在檢查思維鏈時發現該模型獨立發展出了自己的測試時策略：該模型首先會編寫一個簡單的暴力解決方案，然后再使用它來驗證一種更加復雜優化版方法。

軟件工程評估

OpenAI 還對模型進行了軟件工程評估。他們在兩個數據集上測試了模型：HackerRank Astra 數據集和 SWE-bench verified。

圖 8 表明了模型進行思維鏈推理的影響：與 GPT-4o 相比，o1-preview 模型在 pass@1 上提升了 9.98%，在平均得分上提高了 6.03 分。

通過強化學習進一步微調后，o1 的表現得到了提升，其 pass@1 達到了 63.92%，平均得分為 75.80%—— 相比 o1-preview，pass@1 提高了 3.03%。

圖 9 所示，o1 預覽版在 SWE-bench 上相比 gpt-4o 提升了 8.1%，突顯了模型推理能力的顯著進步。

在訓練過程中應用額外的強化學習計算，o1 進一步實現了 8.6% 的性能提升。

值得注意的是，o3 使用了比 o1 顯著更多的計算資源進行訓練，比 o1 實現了 22.8% 的顯著改進。

通用強化學習是實現 AGI 的最清晰路徑？

基于此論文，Matthew Berman 通過一系列推文佐證了一個論點：通用強化學習是實現 AGI 的最清晰路徑。下面我們來看看他的論據。

首先，在這篇論文中，OpenAI 的研究表明「強化學習 + 測試時計算」是構建超智能 AI 的關鍵。OpenAI CEO Sam Altman 也說 OpenAI 的模型已經在競爭性編程任務上從 175 名上升到了 50 名，并有望在今年底達到第 1 名。

同時，上述論文中也指出，一開始模型依賴于人類設計的推理策略，但進步最大時候并不是在這個階段出現的，而是在將人類完全移出流程之后。

Berman 也引出了 DeepSeek-R1 的巨大成就。

他指出，DeepSeek-R1 的突破來自于「可驗證獎勵的強化學習」，而這其實也是 AlphaGo 使用的方法 —— 讓模型在試錯中學習，然后無限地擴展智能。

AlphaGo 在沒有人類引導的情況下成為了世界最強圍棋棋手。它的方法就是不斷與自己博弈，直到其掌握這個游戲。

Kimi 研究員 Flood Sung 也談到了這一點，他指出：「不管模型中間做錯了什么，只要不是重復的，最后模型做對了就認為這是一個好的探索，值得鼓勵。反之，要懲罰。隨后在實際訓練中，發現模型會隨著訓練提升表現并不斷增加 token 數，證明強化訓練過程中模型可以自己涌現，這與 DeepSeek 的發現非常相似，也為 k1.5 視覺思考模型的上線奠定了基礎。」

而現在，類似的策略也被 OpenAI 用在了編程領域，并且未來也可能被用在更多領域。

這意味著什么呢？Berman 認為，這意味著每個具有可驗證獎勵的領域（包括數學、編程、科學）都可被 AI 通過自我博弈方法掌握。

Flood Sung 也表達了類似的期待：「o3 在前面，還有很多路要走。給 AI 一個可衡量的目標，然后讓其自己去探索。比如讓 AI 寫出 10 萬 + 的公眾號文章，比如讓 AI 發布一個復制 tiktok 的 app，讓我們一起期待一下接下來的進展！」

屆時，AI 將不再受到人類水平的限制。這或許也就是 AGI 誕生之時。

實際上，特斯拉已經在全自動駕駛任務上驗證這一點了。過去，他們的方法是依靠一個「人類規則 + AI」的混合模型；但他們換成端到端的 AI 方法之后，性能實現了大幅提升。Berman 表示：「AI 只需要更多計算 —— 而不是更多人類干預。」

正如 Sam Altman 之前說過的那樣，AGI 就是個規模擴展問題。

實際上，已經有不少研究者將強化學習用在編程和數學等領域之外了。

當然，并不是所有人都認可 Berman 與 Altman 的看法，比如有人指出了競爭性編程與實際編程的區別 —— 實際編程往往涉及到更多問題，包括可擴展性、安全性、彈性和投資回報等。

也有人直言反駁：

你已經看過這篇論文了嗎？對于「可驗證獎勵的強化學習」的未來潛力，你有什么看法？你認為這能否實現 AGI？