我們都錯(cuò)怪GPT-5了,路由統(tǒng)一算力,免費(fèi)用戶也能創(chuàng)造收益
GPT-5發(fā)布以來(lái),路由架構(gòu)是最受關(guān)心的部分之一。
它不僅實(shí)現(xiàn)了多個(gè)模型統(tǒng)一調(diào)度,而且還藏著奧特曼的諸多小心思。
比如成本更可控、悄悄識(shí)別意圖插入廣告等。
但是由于GPT-5不開源,這個(gè)框架具體啥情況咱們也都無(wú)從得知。
不過(guò),最近開源社區(qū)出現(xiàn)了一個(gè)類似版本——Arch-Router,它會(huì)結(jié)合任務(wù)領(lǐng)域(如金融、法律)和具體動(dòng)作(如摘要、生成代碼)來(lái)制定路由策略,并連接到最適合的模型,與人類的偏好對(duì)齊。

順著這個(gè)“開源版本”,GPT-5路由系統(tǒng)背后,OpenAI的更多設(shè)計(jì)也浮出水面。
什么是路由框架?
現(xiàn)有的路由方法主要分為兩類,一類是任務(wù)型路由,將用戶的請(qǐng)求直接導(dǎo)向處理特定任務(wù)的預(yù)定義模型;
另一類則是基于性能的路由,通過(guò)成本-性能評(píng)分來(lái)調(diào)用最具性價(jià)比的模型。
然而,用戶的請(qǐng)求往往是模糊且主觀的,因此,上述的兩類路由往往難以精準(zhǔn)定位用戶偏好,從而無(wú)法給出滿意的回答。
為了解決上述問(wèn)題,研究人員提出了我們開頭提到的——偏好對(duì)齊路由框架Arch-Router,根據(jù)用戶定義的偏好將路由策略和模型選擇統(tǒng)一起來(lái)。
在這個(gè)框架中,用戶使用領(lǐng)域-動(dòng)作分類法(domain-action taxonomy)來(lái)定義自己的路由策略。
這模仿了人們通常描述任務(wù)的方式,從一個(gè)大的領(lǐng)域開始,然后逐漸縮小到一個(gè)具體的動(dòng)作。例如從大的主題(金融、法律)開始,縮小到特定的動(dòng)作(摘要或生成代碼)。
路由過(guò)程分為兩個(gè)階段:

首先,Arch-Router將用戶查詢與自然語(yǔ)言描述的路由策略進(jìn)行匹配。例如,如果一個(gè)策略被描述為“生成代碼片段”,那么Arch-Router的任務(wù)就是識(shí)別出用戶是否有這個(gè)意圖,并選擇這個(gè)策略。
其次,一個(gè)映射函數(shù)將選定的策略連接到其指定的LLM(比如Claude),進(jìn)而完成任務(wù)。
值得一提的是,Arch-Router具有極強(qiáng)的靈活性。每當(dāng)有新模型可用時(shí),無(wú)需額外訓(xùn)練新的路由策略,只需要更新一個(gè)映射函數(shù),將策略鏈接到最新的模型即可。
由此,用戶可以根據(jù)不斷變化的需求、性能優(yōu)化或新模型的出現(xiàn)來(lái)動(dòng)態(tài)地重新配置路由,同時(shí)保留已學(xué)習(xí)的路由邏輯。
在GPT-5的介紹文檔中,這類基于偏好對(duì)齊的路由框架就占據(jù)了核心地位:
GPT-5是一個(gè)統(tǒng)一系統(tǒng),包含一個(gè)智能高效的模型用于回答大多數(shù)問(wèn)題,一個(gè)用于處理更復(fù)雜問(wèn)題的深度推理模型(GPT-5思考模式),以及一個(gè)實(shí)時(shí)路由器,根據(jù)對(duì)話類型、問(wèn)題復(fù)雜度、工具需求和用戶明確意圖(例如提示中說(shuō)“認(rèn)真思考這個(gè)”)快速?zèng)Q定使用哪個(gè)模型。
總結(jié)一下就是,GPT-5內(nèi)部的路由框架能夠根據(jù)問(wèn)題類型、難度和用戶意圖自動(dòng)選擇輕量模型或思考模型,從而在成本和性能之間找到平衡。
不過(guò),不同于Arch-Router只是提升模型的意圖識(shí)別能力,GPT-5的路由框架被設(shè)計(jì)成驅(qū)動(dòng)ChatGPT下一階段發(fā)展的核心樞紐。
更好平衡成本,還能轉(zhuǎn)化流量
為什么路由是GPT-5的核心樞紐?因?yàn)樗瑫r(shí)解決了兩件最難的事:
一是在用戶規(guī)模暴漲而每次推理都有成本的前提下,把成本與性能進(jìn)行動(dòng)態(tài)匹配;二是如何在不把體驗(yàn)做成廣告的情況下,把免費(fèi)流量轉(zhuǎn)化為真實(shí)營(yíng)收。
近三年里,ChatGPT從“未進(jìn)前100的網(wǎng)站”躍升至全球第五,其規(guī)模超過(guò)了X/Twitter、Reddit、Whats app、維基百科,并且正在迅速逼近Instagram、Facebook、Youtube和谷歌。

同時(shí),在全球擁有7億周活躍用戶的同時(shí),GPT還有著最快的用戶增速。不過(guò),這7億用戶里的99%都是免費(fèi)用戶。

此外,大模型的推理模式也意味著,如果想要獲得高質(zhì)量的輸出,就必須實(shí)施更多的推理步驟,更頻繁的工具調(diào)用,而這無(wú)疑將會(huì)顯著抬高單次響應(yīng)成本。

綜上,這就產(chǎn)生了一個(gè)讓奧特曼非常頭疼的問(wèn)題——(免費(fèi))用戶越多、推理越多,成本支出就越多。
因?yàn)椋诖竽P屠铮恳淮晤~外的推理都是真金白銀的可變成本。這與互聯(lián)網(wǎng)“用戶新增的邊際成本接近零”的“聚合理論”直覺相反。
像ChatGPT這樣的大模型平臺(tái),每次推理(即每次生成答案)都要花費(fèi)計(jì)算資源,產(chǎn)生成本。
這意味著它不可能對(duì)所有的用戶都開放無(wú)限免費(fèi)的深度推理,但與此同時(shí),它又必須保證一定的可靠性(推理額度),來(lái)擴(kuò)展、留住免費(fèi)用戶。
為了解決上述矛盾,就有了GPT-5這次的暴力更新——直接去除其他模型選項(xiàng)。

通過(guò)統(tǒng)一入口,讓系統(tǒng)自動(dòng)根據(jù)用戶意圖、問(wèn)題復(fù)雜度和工具需求,智能分配輕量模型或深度推理模型。
對(duì)于低價(jià)值、簡(jiǎn)單的查詢,模型可以用輕量模型快速回答,降低推理成本。而對(duì)于高價(jià)值、復(fù)雜的商業(yè)查詢,模型則可以投入更多算力(更復(fù)雜的推理、更長(zhǎng)的計(jì)算)。
這樣一來(lái),路由框架掌握了“誰(shuí)來(lái)答、答到什么深度、何時(shí)調(diào)用工具”的主動(dòng)權(quán),在體驗(yàn)與成本之間做實(shí)時(shí)最優(yōu)分配。
當(dāng)解決了性能分配問(wèn)題時(shí),就該考慮錢了。
畢竟就像上面說(shuō)的,大模型用的越多,虧得越多,
所以,哪怕GPT-5上線第一天,接觸推理模型的免費(fèi)用戶數(shù)就增長(zhǎng)了7倍,付費(fèi)用戶數(shù)增長(zhǎng)了3.5倍,問(wèn)題的關(guān)鍵還是如何把99%免費(fèi)用戶口袋中的錢塞進(jìn)OpenAI自己的腰包
試想一下,如果你是山姆·奧特曼,你擁有全球最大的用戶觸達(dá)平臺(tái)之一,你該如何利用免費(fèi)用戶?
你肯定第一時(shí)間想到了賣廣告,但GPT并沒有“直接”這么做。
奧特曼曾公開表示對(duì)廣告的厭惡態(tài)度:
我承認(rèn),我討厭廣告,這是我個(gè)人的偏見。我認(rèn)為廣告對(duì)于早期互聯(lián)網(wǎng)的商業(yè)模式至關(guān)重要。我并非完全反對(duì)廣告,但廣告加上人工智能讓我感到特別不安。我感覺廣告是商業(yè)模式的最后手段。
不過(guò),最近奧特曼的口風(fēng)有所松動(dòng):
我并非完全反對(duì)……如果你把我們比作社交媒體或網(wǎng)絡(luò)搜索,你就能看出它們正在被商業(yè)化……我們絕不想在法學(xué)碩士(LLM)的學(xué)習(xí)過(guò)程中修改任何東西……或許,如果你點(diǎn)擊了某個(gè)我們無(wú)論如何都會(huì)顯示的內(nèi)容,我們就能獲得一些交易收入,而且所有東西都是統(tǒng)一的,也許這樣可行。成為一家優(yōu)秀的廣告驅(qū)動(dòng)型公司顯然是可能的,但顯然也存在一些問(wèn)題。
OpenAI的Andrew Mayne更是在和奧特曼的對(duì)話中提到了相應(yīng)的應(yīng)用場(chǎng)景:
我很想通過(guò)ChatGPT完成所有的購(gòu)買,因?yàn)槲医?jīng)常覺得自己沒有做出最明智的決定。
這種曖昧的態(tài)度似乎意味著,當(dāng)大語(yǔ)言模型識(shí)別到用戶存在明確的商業(yè)意圖(如預(yù)訂、購(gòu)買、出行等),路由可調(diào)度更多算力提供深度服務(wù),并在交易中收取訂閱費(fèi)、傭金或平臺(tái)分成。
相比直接插廣告,這更像一次智能的“代理服務(wù)”——這不是簡(jiǎn)單把廣告塞進(jìn)答案里,而是讓路由把高價(jià)值意圖引到“可轉(zhuǎn)化的決策路徑”上。
換句話說(shuō),要是您想跟GPT咨詢一些購(gòu)買意見,那GPT就會(huì)給你好好回答一番,而在達(dá)成交易后,GPT就可以從提供的選項(xiàng)、鏈接的接口、調(diào)用的api中收點(diǎn)服務(wù)費(fèi)。
不過(guò),讓用戶間接付費(fèi)并不是OpenAI最終的目的。
因?yàn)椋珿PT-5的介紹文件還這樣寫道:
路由會(huì)持續(xù)通過(guò)真實(shí)數(shù)據(jù)進(jìn)行訓(xùn)練,包括用戶切換模型的行為、對(duì)回答的偏好評(píng)分以及準(zhǔn)確性評(píng)估,隨著時(shí)間不斷改進(jìn)。一旦達(dá)到使用上限,每個(gè)模型的迷你版本會(huì)處理剩余的查詢。未來(lái)不久,我們計(jì)劃將這些能力整合到單一模型中
這就意味著,OpenAI真正想做的,是用路由機(jī)制掌控用戶與模型的交互路徑。
從你提問(wèn)的那一刻起,系統(tǒng)就會(huì)判斷問(wèn)題復(fù)雜度、意圖、工具需求,決定你走向輕量模型還是深度推理模型,并在必要時(shí)引導(dǎo)你接觸付費(fèi)入口或品牌推薦。
這樣既能用低成本模型消化大部分免費(fèi)流量,又能在高價(jià)值場(chǎng)景投入更多算力換取更高回報(bào)。
更關(guān)鍵的是,這套路由并不是固定規(guī)則,而是會(huì)根據(jù)真實(shí)使用數(shù)據(jù)不斷自我進(jìn)化——它會(huì)觀察你是否切換模型、如何給答案打分、答案的準(zhǔn)確率如何,并用這些信息優(yōu)化決策邏輯。
即便你用到當(dāng)日限額,系統(tǒng)也會(huì)切到“迷你版”模型,確保交互不中斷。長(zhǎng)遠(yuǎn)來(lái)看,這種持續(xù)學(xué)習(xí)的路由最終會(huì)收斂到一個(gè)統(tǒng)一模型,既控制了成本,又牢牢鎖住了商業(yè)化的主動(dòng)權(quán)。
由此,GPT既可以免費(fèi)給普通用戶基礎(chǔ)服務(wù),收攬新客戶;也可以靠“高價(jià)值商業(yè)交易”的傭金賺回推理成本,甚至盈利,而這一切都由統(tǒng)一的路由框架調(diào)度。
而普通用戶可憐的幾次套餐限額沒準(zhǔn)還被算進(jìn)了廣告觀看的人頭次數(shù)。

所以,奧特曼讓99%的白嫖黨用上了類似o3的推理模型,還真不是在免費(fèi)發(fā)福利。
GPT的猜你喜歡
你可以想象在未來(lái),通過(guò)GPT來(lái)預(yù)訂航班、購(gòu)買商品、購(gòu)買食物,GPT將鏈接到電商平臺(tái)、支付平臺(tái)、金融公司、乃至銀行,而這一切走過(guò)路過(guò)的企業(yè)、用戶、服務(wù)商都要給GPT交過(guò)路費(fèi)。
盡管社交媒體仍然是當(dāng)前獲客最多的地方,但對(duì)于資本市場(chǎng)來(lái)說(shuō),誰(shuí)擁有未來(lái),誰(shuí)就擁有一切。
毫無(wú)疑問(wèn),任何能夠并愿意降低獲客成本的公司都會(huì)樂于盡快行動(dòng)和OpenAI合作。
ChatGPT將創(chuàng)造一個(gè)不同于線上和線下的第三消費(fèi)空間,它能夠減少對(duì)客服、廣告、營(yíng)銷和其他功能的依賴,從而降低運(yùn)營(yíng)成本。
而這一切將實(shí)現(xiàn)奧特曼式的廣告模式:沒有張貼海報(bào),沒有巨型橫幅,沒有開屏廣告,也沒有插播。
有的只是你在和GPT談心時(shí),精準(zhǔn)拿捏你消費(fèi)訴求的“猜你喜歡”。


































