譯者 | 李睿
審校 | 重樓
本文對OpenAI的o3-pro與谷歌的Gemini 2.5 Pro在圖像分析、邏輯推理和數字推理上的表現進行了比較。o3-pro在推理和工具使用上有所增強，但Gemini 2.5 Pro在邏輯和數學推理上更準確可靠。Gemini 2.5 Pro在復雜任務中表現更佳，提供經過驗證的準確響應，適合對準確性要求高的任務，而o3-pro雖然快速但存在關鍵錯誤。
在人工智能推理模型領域的激烈競爭中，OpenAI的o3-pro與谷歌的Gemini 2.5 Pro正在爭奪高級推理和多模態能力的最佳頭銜。o3 pro 建立在o3的基礎上，配備了增強的推理、工具使用和性能，特別是在科學、編程和可靠性方面表現出色。Gemini 2.5 Pro憑借其原生多模態輸入、上百萬個令牌上下文長度和卓越的基準測試性能脫穎而出，特別是在編程和推理方面。本文將對這兩個人工智能推理模型在性能、功能、成本和行業用例方面的表現進行比較。
什么是OpenAI o3 pro？
OpenAI o3-pro是OpenAI公司最新推出的功能強大的人工智能推理模型，建立在“反思性”o3架構上，但運行在高計算量、擴展思維模式下。它是專為在科學、數學、編程、商業和寫作等最復雜領域實現最高性能而設計的。
OpenAI o3 pro的關鍵特性
以下討論o3-pro模型中的增強之處：
- 提高推理能力：專家評審表明，o3 pro在每個類別中的評分都優于常規o3，尤其是在科學、編程和商業任務方面。
- 工具集成：o3 pro可以查詢網絡、瀏覽文件、執行Python代碼，并回憶過去的對話。與早期的推理模型不同，使用這些工具將需要更長的時間來生成響應。
- 深度逐步推理：利用內部“私有思維鏈”，以逐步的方式實現推理來設計和評估答案，這可以為與數學、編碼和科學問題相關的更復雜的任務提供一定程度的準確性。
- 多模態推理：它們可以直接處理視覺信息并將其整合到推理鏈中，這使它們能夠解釋和分析圖像以及文本數據。
OpenAI o3 pro vs Gemini 2.5 pro
以下將評估OpenAI o3 pro和Gemini 2.5 pro的三個主要功能：
- 圖像分析
- 邏輯推理
- 數字推理
評估的目的是查看每個模型執行其任務的情況，這樣就可以了解它們在現實世界中的優缺點和有效性。這一細分將幫助開發人員、研究人員或業務用戶更好地理解哪種模型更適合。
任務1：圖像分析
提示：“采用100個單詞解釋上傳的圖像，并提供簡潔而全面的描述。”
輸入圖像：
o3 pro輸出：
Gemini 2.5 Pro輸出：
輸出比較
OpenAI o3 pro提供了更完整、更直觀的解釋，引用了標簽和觀察者視角等關鍵圖像元素。Gemini 2.5 Pro的描述準確清晰，但細節較少。
方面 | o3 pro | Gemini 2.5 Pro |
清晰度 | 精確解釋折射和圖解元素 | 強調感知的一般性描述 |
技術細節 | 包括折射率、光線彎曲和路徑曲率 | 只聚焦于表面位置信息，對背后的細節機制有所忽視 |
圖表焦點 | 描述了帶標簽的部分和箭頭 | 主要描述整體概念，與圖表具體功能之間的關聯性較弱 |
得分：OpenAI 3 pro：1 | Gemini 2.5 pro：0
任務2：邏輯推理
提示：“一家公司發生了數據泄露事件，涉及以下4名員工中的3名：Alex、Beth、Carl和Dana。
訪問要求：
- 數據泄露需要同時具備的條件：有技術訪問權限的人和有物理訪問權限的人
- Alex：只有技術訪問權限| Beth：只有物理訪問權限|Carl：兩者都有|Dana：兩者都有
聲明：
- Alex：“如果Beth是泄露者，那么Carl不是。”
- Beth：“要么Dana是無辜的，要么共有兩個人參與。”
- Carl：“Alex在撒謊。另外，如果我有罪，那么Dana是無辜的。”
- Dana：“如果Carl認為Alex撒謊的說法是正確的，那么Beth說我是無辜的就是錯的。”
規則：
- 至少有一人說出了全部真相
- 泄露者不會直接暴露自己
- 每個人不能對別人的罪行撒謊，也不能與他們合謀。
問題：數據泄露者是哪三個人？展示完整的邏輯推理和證據。”
o3 pro輸出：
Gemini 2.5 Pro輸出：
輸出比較
Gemini 2.5 Pro模型通過系統地分解每個前提、仔細分析邏輯命題的正確使用以及全面考慮每種結果，展現了卓越的邏輯推理能力。其考慮還包括對任何可能出現的矛盾進行深思熟慮的處理。雖然o3 pro能夠得出正確的結論，但當關鍵理由未被納入考量，其邏輯推理往往缺乏充分依據。而且在開展邏輯推理工作時，明顯缺乏深度思考。
方面 | o3 pro | Gemini 2.5 Pro |
邏輯方法 | 存在缺陷：在缺乏充分依據的情況下進行邏輯推導，存在邏輯跳躍的現象 | 嚴謹規范：將陳述轉換為形式邏輯命題 |
系統分析 | 不夠完善：沒有系統地評估所有可能的情況 | 細致全面：評估了所有4種可能的犯罪組合 |
應用程序規則 | 淺嘗輒止：運用規則，但沒有深入分析矛盾 | 深入透徹：從規則中確定了關鍵推論，例如Carl一定在撒謊，Beth/Dana不能都有罪等 |
矛盾處理 | 視而不見：對謎題中潛在的邏輯矛盾未予重視，缺乏有效的解決措施 | 坦誠面對：承認所有場景在初步分析時似乎都存在不可能性，并針對謎題中可能存在的歧義展開了深入討論 |
邏輯嚴謹 | 不足之處：推理過程中存在多個步驟不夠合理，邏輯鏈條不夠緊密 | 表現出色：每一個推論都有充分的依據和合理的支撐，邏輯嚴謹性極高 |
得分：OpenAI 3- Pro：1 | Gemini 2.5 Pro：1
任務3：數值推理
提示：“考慮這個序列，其中每個項都遵循特定的數學規則：
序列：2，12，36，80，150，？
A：找出序列中的下一個數字并解釋其基本規律。
B：現在考慮這個修改：如果應用相同的模式規則，但從3開始而不是2，這個新序列的第7項是什么？
C：這是具有挑戰性的部分：對原始序列（2,12,36,80,150）有第二個有效的數學解釋，它遵循完全不同的模式規則。找到這種替代模式，并確定在這種解釋下接下來的兩項是什么。
D：考慮到發現的兩種解釋，如果有人告訴第6項實際上是252，那么哪種解釋是正確的，第8項是什么？
問題：解決所有部分，展示數學推理、使用的公式和模式的驗證。解釋為什么在C部分的替代解釋在數學上是有效的，并且與第一個解決方案不同。”
o3 pro輸出：
Gemini 2.5 Pro輸出：
輸出比較
結果表明，Gemini 2.5 Pro在整個過程中對正確數學推理的陳述更為準確，從而優于o3 Pro。Gemini分配了正確的模式識別元素，并對其預測結果進行了系統性的驗證，以產生更清晰、正確的解決方案。盡管o3Pro在運用有限差分法處理復雜數學問題時展現出了令人矚目的能力，然而在B部分和D部分，其出現的關鍵性錯誤嚴重影響了最終結論的可靠性。總體而言，由于o3Pro的推理過程更為復雜，對其進行全面且深入的分析是必要的。不過，在四個子部分的具體表現中，o3 Pro在分析、決策以及結論制定環節確實展現出了更為出色的能力。但在準確性、數學運算的精準度以及最終的價值評估方面，o3Pro僅獲得了3-1的評分，明顯處于劣勢。
方面 | o3 pro | Gemini 2.5 Pro |
模式識別 | 使用有限差分法（第一、第二、第三差分）識別二次模式 | 通過位置-關系直接識別公式Tn=n3+n2 |
數學嚴謹性 | 分析復雜，但執行有缺陷，存在基本概念錯誤 | 始終保持一致的準確性，并進行適當的公式驗證 |
呈現方式 | 詳細的分步分解，明確差異計算 | 基于公式推理的干凈、直接的方法，便于快速理解核心邏輯 |
總體可靠性 | 盡管采用了先進的技術，但有兩個主要錯誤影響了解決方案的質量 | 憑借無誤差的數學推理得出正確最終答案，展現出極高的總體可靠性 |
得分：OpenAI o3 pro：1 | Gemini 2.5 pro：2
最終決定
如果始終如一的良好推理對用戶來說很重要，特別是對于由多步驟推理、編碼或多模態輸入組成的復雜任務，可以使用Gemini 2.5 Pro，因為在這個使用場景中，它已證明具有非常可靠的性能，以更有利的成本產生更準確的響應。O3 pro非常適合快速生成響應，并利用先進的分析技術，但它包含關鍵錯誤，使其在準確性至關重要的關鍵任務中不可靠。
Gemini 2.5 Pro提供經過系統批判性分析驗證的、經過驗證的準確響應。如果用戶正在為一般任務尋找一個很好的解決方案，甚至是獲得正確響應最重要的特殊任務（即使速度稍慢），強烈建議使用Gemini 2.5 Pro。
方面 | OpenAI o3 pro | Gemini 2.5 Pro |
推理能力 | 技術復雜，但在執行過程中容易出現嚴重錯誤 | 通過嚴格的驗證和系統的方法，始終保持準確 |
方法質量 | 詳細分析，但由于計算錯誤需要進行錯誤檢查 | 徹底、有條不紊的推理，并內置適當的驗證 |
可靠性 | 包含基本錯誤（4項任務中有2項出現關鍵錯誤） | 在復雜邏輯和數學任務中表現無錯誤 |
速度 | 更快的響應生成 | 處理速度較慢，但分析更徹底 |
定價 | 20美元/100萬輸入令牌，80美元/100萬輸出令牌（成本高，可靠性可疑） | 約1.25美元～15美元/100萬令牌（成本更低，準確性更高） |
最適合 | 需要詳細分析并能夠獨立驗證結果的用戶 | 需要可靠、準確的結果來完成一般任務和關鍵任務的用戶 |
基準測試：OpenAI o3 pro vs Gemini 2.5 pro
以下柱狀圖比較了OpenAI o3 pro和谷歌的Gemini 2.5 pro在兩個重要指標上的表現。
- AIME 2024——這是一項難度較大數學競賽測試，旨在評估數學推理和解決問題的能力。
- GPQA Diamond——這是一項針對研究生學習的專業問答基準，旨在評估理性推理和學科掌握能力。
性能總結：
在AIME 2024上，OpenAI o3 pro的得分為93%，而Gemini 2.5 pro的得分為92%，這是一個非常小的差距，使OpenAI在數學和邏輯推理任務上略占優勢。
在GPQA Diamond上，兩種模型的表現得分相同，均為84%，并且在研究生水平的常識和批判性思維方面表現非常出色。
結論
OpenAI o3 pro和Gemini 2.5 pro都是令人驚嘆的人工智能模型，在不同的環境中的表現都很出色。基于對比分析，Gemini 2.5 Pro在更復雜的情況下提高了準確性和系統分析推理，例如有組織的邏輯謎題和數學分析，允許更好地驗證標準和系統推理的應用。OpenAI o3 pro表現出良好和復雜的分析推理能力，但犯了嚴重的錯誤，這些錯誤是不可接受的，并破壞了其在關鍵任務應用中的可靠性。
在分析細節方面，Gemini 2.5 Pro表現良好，使用了更寬泛的上下文窗口、卓越的多模態功能，并且定價合理，非常適合通用任務和次要任務。在最終決策階段，用戶面臨著權衡。他們可以選擇Gemini 2.5 Pro，該產品在實際應用中已以證明其準確性和成本效益。他們也可以選擇提供更詳盡分析方法的OpenAI o3 pro，盡管準確性可能稍低一些。
原文標題：OpenAI o3 pro vs Gemini 2.5 pro，作者：Soumil Jain
