OpenAI 昨晚宣布推出其最新的預訓練模型 GPT-4.5，這是一款在規模和知識水平上均達到新高度的產品，被OpenAI譽為其“迄今為止最大、知識最淵博的模型”，標志著無監督學習的又一次重大飛躍。 GPT-4.5 目前作為研究預覽版，向 ChatGPT Pro 用戶和開發者開放，預計下周將向 Plus 用戶和其他用戶開放。

核心更新與特點

• 預訓練規模顯著提升：GPT-4.5 的預訓練計算規模大約是 GPT-4 的 10 倍，帶來性能的全面提升。在性能甚至超過了一些推理模型，如gemini-2.0-flash-thinking，也同時超過了剛剛發布的claude-3.7非推理模式。

  

• 無推理能力：盡管 GPT-4.5 沒有推理（逐步）能力，但它通常非常有用，并且本質上更聰明。

  

增強的上下文理解：GPT-4.5 在需要更深入知識和高級上下文理解的任務中表現出色，例如寫作、編程和實際問題解決。

更人性化的對話：該模型通過使用來自較小模型的數據進行訓練，更好地理解人類需求和意圖，使對話感覺更溫暖、更直觀、情感更細膩。

• 降低幻覺率：與其它模型相比，GPT-4.5 的幻覺率更低。

  

Chain-of-Draft（CoD）：為了解決推理型大型語言模型（LLM）中的延遲問題，OpenAI 引入了 Chain-of-Draft，這是一種新的推理方法，相較于傳統COT，它具有更低的token消耗、低延遲、高精度，靈活可解釋等特點，這將引發新一輪的研究熱點。

GPT-4.5 的知識截止日期為 2023 年 10 月，上下文窗口為 128,000 個 tokens，最大輸出為 16,384 個 tokens。GPT-4.5 能夠訪問最新信息的能力，支持搜索，可以上傳文件和圖片，并可以使用畫布進行寫作和代碼工作。 但目前在 ChatGPT 中不支持如語音模式、視頻和屏幕共享等多模態功能。

OpenAI 同時公布了 GPT-4.5 的定價：

• 輸入：75 美元 / 1M tokens
• 緩存輸入：37.50 美元 / 1M tokens
• 輸出：150.00 美元 / 1M tokens

相比于 GPT-4o 系列，GPT-4.5 的定價顯著提高，基于此，openai將繼續提供gpt-4o長期支持。

Andrej Karpathy 在其社交媒體表示：“GPT-4.5 是一個令人興奮的里程碑，它展示了僅僅通過預訓練更大的模型就能獲得的巨大能力提升。”同時他表示，從體驗看目前很難以用具體的“殺手級”例子來展示其優勢，但整體感覺是“一切都稍微好一點”。針對 GPT-4.5 在“情商”（EQ）相關任務上的表現，如世界知識、創造力、類比、理解力和幽默感，他設計了一系列有趣的提示，并在社交媒體上進行了“LM Arena Lite”實驗，讓用戶比較 GPT-4 和 GPT-4.5 的回答。

小結

GPT-4.5 的發布表明Scaling Law仍然有效但收益見頂，需要指出的是，該模型不是推理模型，價格也非常貴，10倍于Claude 3.7的價格，當編程能力卻不如Claude 3.7，實際使用或仍以4o為主，而它更將會作為一個過渡基座模型版本，在此基礎上進行 RL 訓練，提升推理能力，也就是deepseek v3和 r1的關系（從v3和r1發布間隔來預測，基于GPT-4.5的推理版本應該很快將會發布），到那時，這將是OpenAI 的真正下一代大版本發布。

本文轉載自??AI工程化??，作者： ully ????