有研究預(yù)計(jì)，如果 LLM 保持現(xiàn)在的發(fā)展勢(shì)頭，預(yù)計(jì)在 2028 年左右，已有的數(shù)據(jù)儲(chǔ)量將被全部利用完。屆時(shí)，基于大數(shù)據(jù)的大模型的發(fā)展將可能放緩甚至陷入停滯。

來自論文《Will we run out of data? Limits of LLM scaling based on human-generated data》

但似乎我們不必等到 2028 年了。昨天，The Information 發(fā)布了一篇獨(dú)家報(bào)道《隨著 GPT 提升減速，OpenAI 改變策略》，其中給出了一些頗具爭(zhēng)議的觀點(diǎn)：

• OpenAI 的下一代旗艦?zāi)Ｐ偷馁|(zhì)量提升幅度不及前兩款旗艦?zāi)Ｐ椭g的質(zhì)量提升；
• AI 產(chǎn)業(yè)界正將重心轉(zhuǎn)向在初始訓(xùn)練后再對(duì)模型進(jìn)行提升；
• OpenAI 已成立一個(gè)基礎(chǔ)團(tuán)隊(duì)來研究如何應(yīng)對(duì)訓(xùn)練數(shù)據(jù)的匱乏。

文章發(fā)布后，熱議不斷。OpenAI 著名研究科學(xué)家 Noam Brown 直接表示了反對(duì)（雖然那篇文章中也引用了他的觀點(diǎn)）。他表示 AI 的發(fā)展短期內(nèi)并不會(huì)放緩。并且他前些天還在另一篇 X 推文中表示，對(duì)于 OpenAI CEO 山姆?奧特曼的 AGI 發(fā)展路徑已經(jīng)清晰的言論（「事情的發(fā)展速度將比人們現(xiàn)在預(yù)想的要快得多」），OpenAI 的大多數(shù)研究者都表示比較認(rèn)同。

著名 X 博主 @apples_jimmy 甚至直斥之為 Fake News，畢竟奧特曼說過 AGI 很快就要實(shí)現(xiàn)了。

OpenAI 的 Adam GPT 則給出了更詳細(xì)的反對(duì)意見。他表示大模型的 scaling laws 和推理時(shí)間的優(yōu)化是兩個(gè)可以互相增益的維度。也就是說就算其中一個(gè)維度放緩，也不能得出 AI 整體發(fā)展放緩的結(jié)論。

OpenAI 產(chǎn)品副總裁 Peter Welinder 也認(rèn)同上述看法。

當(dāng)然，也有人認(rèn)同 The Information 這篇文章的觀點(diǎn)，比如一直有類似觀點(diǎn)的 Gary Marcus 表示這篇文章宣告了自己的勝利。

數(shù)據(jù)科學(xué)家 Yam Peleg 也表示某前沿實(shí)驗(yàn)室的 scaling laws 出現(xiàn)了巨大的（HUGE）受益遞減問題。

大多數(shù)吃瓜群眾基本認(rèn)同 OpenAI 相關(guān)人士公開發(fā)布的意見，畢竟該公司雖然存在無數(shù)的爭(zhēng)議和八卦，但目前仍舊是當(dāng)之無愧的行業(yè)領(lǐng)導(dǎo)者。也就是說，相比于媒體揣測(cè)，OpenAI 的話會(huì)更可信一些。

不過有意思的是，The Information 這篇報(bào)道也宣稱很多信息來自 OpenAI 內(nèi)部員工和研究者。當(dāng)然，該媒體沒有給出具體的信息源。下面我們就來看看這篇引發(fā)廣泛的爭(zhēng)議的報(bào)道究竟說了什么。

使用 ChatGPT 和其他人工智能產(chǎn)品的人數(shù)正在飆升。不過，支撐這些產(chǎn)品的基本構(gòu)建模塊的改進(jìn)速度似乎正在放緩。

為了彌補(bǔ)這種減速，OpenAI 正在開發(fā)新技術(shù)來增強(qiáng)這些構(gòu)建模型，即大型語言模型。

據(jù)一位知情人士透露，盡管 OpenAI 只完成了 Orion 訓(xùn)練過程的 20%，但奧特曼表示，在智能和完成任務(wù)和回答問題的能力方面，它已經(jīng)與 GPT-4 不相上下。

據(jù)一些使用或測(cè)試過 Orion 的 OpenAI 員工稱，雖然 Orion 的性能最終會(huì)超過之前的型號(hào)，但相比于該公司發(fā)布的最新兩款旗艦?zāi)Ｐ?GPT-3 和 GPT-4 之間的飛躍，質(zhì)量的提升要小得多。

據(jù)這些員工稱，該公司的一些研究者認(rèn)為，在處理某些任務(wù)方面，Orion 并不比其前代模型更好。據(jù) OpenAI 的一名員工稱，Orion 在語言任務(wù)上表現(xiàn)更好，但在編程等任務(wù)上可能不會(huì)勝過之前的模型。其中一位員工表示，這可能是一個(gè)問題，因?yàn)榕c OpenAI 之前發(fā)布的其他模型相比，Orion 在 OpenAI 數(shù)據(jù)中心運(yùn)行的成本可能更高。

Orion 的情況可以檢驗(yàn)人工智能領(lǐng)域的一個(gè)核心假設(shè)，即 scaling laws：只要有更多數(shù)據(jù)可供學(xué)習(xí)，并有更多的計(jì)算能力來促進(jìn)訓(xùn)練過程，LLM 就能繼續(xù)以相同的速度提升性能。

為了應(yīng)對(duì)近期 GPT 提升放緩對(duì)基于訓(xùn)練的 scaling laws 帶來的挑戰(zhàn)，AI 行業(yè)似乎正在將精力轉(zhuǎn)向訓(xùn)練后對(duì)模型進(jìn)行改進(jìn)，這可能會(huì)產(chǎn)生不同類型的 scaling laws。

包括 Meta 的馬克?扎克伯格在內(nèi)的一些 CEO 表示，在最壞的情況下，即使當(dāng)前技術(shù)沒有進(jìn)步，仍有很大空間在現(xiàn)有技術(shù)的基礎(chǔ)上構(gòu)建消費(fèi)者和企業(yè)產(chǎn)品。

例如，OpenAI 正忙于將更多的編程功能融入其模型中，以抵御來自競(jìng)爭(zhēng)對(duì)手 Anthropic 的重大威脅。后者正在開發(fā)一種軟件，其可以接管用戶電腦，通過像人類一樣執(zhí)行點(diǎn)擊、光標(biāo)移動(dòng)、文本輸入來使用不同的應(yīng)用程序，從而完成涉及網(wǎng)絡(luò)瀏覽器活動(dòng)或應(yīng)用程序的白領(lǐng)工作。

這些產(chǎn)品是向處理多步驟任務(wù)的 AI 智能體邁進(jìn)的一部分，可能與 ChatGPT 最初發(fā)布時(shí)一樣具有革命性。

此外，扎克伯格、奧特曼和其他 AI 開發(fā)商的首席執(zhí)行官也公開表示，他們尚未達(dá)到傳統(tǒng) scaling laws 的極限。因此，OpenAI 等公司仍在開發(fā)昂貴的、價(jià)值數(shù)十億美元的數(shù)據(jù)中心，以盡可能多地提升預(yù)訓(xùn)練模型的性能。

然而，OpenAI 研究者 Noam Brown 上個(gè)月在 TEDAI 大會(huì)上表示，更先進(jìn)的模型可能在經(jīng)濟(jì)上不可行。

「畢竟，我們真的要花費(fèi)數(shù)千億美元或數(shù)萬億美元訓(xùn)練模型嗎？」 Brown 說。「在某個(gè)時(shí)候，scaling 范式會(huì)崩潰?！?/p>

OpenAI 尚未完成對(duì) Orion 的安全性的漫長(zhǎng)測(cè)試過程。其員工們表示，OpenAI 明年初發(fā)布 Orion 時(shí)，可能不再采用其旗艦?zāi)Ｐ偷膫鹘y(tǒng)「GPT」命名慣例，進(jìn)一步凸顯 LLM 改進(jìn)方式的變化。（OpenAI 發(fā)言人沒有對(duì)此發(fā)表評(píng)論。）

撞上數(shù)據(jù)南墻

OpenAI 員工和研究者表示，GPT 速度放緩的原因之一是高質(zhì)量文本和其他數(shù)據(jù)的供應(yīng)量正在減少，而這些數(shù)據(jù)是 LLM 預(yù)訓(xùn)練所必需的。

他們表示，在過去幾年中，LLM 使用來自網(wǎng)站、書籍和其他來源的公開文本和其他數(shù)據(jù)進(jìn)行預(yù)訓(xùn)練，但模型開發(fā)者基本上已經(jīng)從這類數(shù)據(jù)中榨干了盡可能多的資源。

作為回應(yīng)，OpenAI 成立了一個(gè)基礎(chǔ)團(tuán)隊(duì)，由之前負(fù)責(zé)預(yù)訓(xùn)練的 Nick Ryder 領(lǐng)導(dǎo)。他們表示，該團(tuán)隊(duì)將研究應(yīng)對(duì)訓(xùn)練數(shù)據(jù)的匱乏，以及大模型的擴(kuò)展定律將持續(xù)到什么時(shí)候。

據(jù) OpenAI 的一名員工稱，Orion 部分接受了 AI 生成的數(shù)據(jù)的訓(xùn)練，這些數(shù)據(jù)由其他 OpenAI 模型生成，包括 GPT-4 和最近發(fā)布的推理模型。然而，這位員工表示，這種合成數(shù)據(jù)導(dǎo)致了一個(gè)新問題，即 Orion 最終可能會(huì)在某些方面與那些舊模型相似。

風(fēng)險(xiǎn)投資人 Ben Horowitz 表示：「我們正在以同樣的速度增加『用于訓(xùn)練 AI 的 GPU 數(shù)量』，但我們并沒有從中獲得任何智能改進(jìn)?！?/p>

OpenAI 研究人員正在利用其他工具在訓(xùn)練后過程中改進(jìn) LLM，通過改進(jìn)它們處理特定任務(wù)的方式。研究人員通過讓模型從大量已被正確解決的問題（如數(shù)學(xué)或代碼問題）中學(xué)習(xí)來實(shí)現(xiàn)這一目標(biāo)，這一過程稱為強(qiáng)化學(xué)習(xí)。

他們還要求人類評(píng)估人員在特定的代碼或復(fù)雜問題任務(wù)上測(cè)試預(yù)訓(xùn)練模型，并對(duì)答案進(jìn)行評(píng)分，這有助于研究人員調(diào)整模型以改進(jìn)其對(duì)某些類型請(qǐng)求（例如寫作或代碼）的回答水平。這個(gè)過程稱為帶有人類反饋的強(qiáng)化學(xué)習(xí)（RLHF），也為較舊的人工智能模型提供了幫助。

為了處理這些評(píng)估，OpenAI 和其他人工智能開發(fā)人員通常依靠 Scale AI 和 Turing 等初創(chuàng)公司來管理數(shù)千名承包商。

隨著 OpenAI 技術(shù)的演進(jìn)，研究人員繼續(xù)開發(fā)出了名為 o1 的推理模型，該模型需要更多時(shí)間「思考」LLM 訓(xùn)練的數(shù)據(jù)，然后才能給出答案，這一概念稱為測(cè)試時(shí)間計(jì)算。

這意味著，如果在模型回答用戶問題時(shí)為其提供額外的計(jì)算資源，即使不更改底層模型，o1 的響應(yīng)質(zhì)量也可以繼續(xù)提高。一位了解這一過程的人士表示，如果 OpenAI 能夠不斷提高底層模型的質(zhì)量，即使速度較慢，也能產(chǎn)生更好的推理結(jié)果。

「這為大模型的擴(kuò)展開辟了一個(gè)全新的維度，」Brown 在 TEDAI 會(huì)議上表示。研究人員可以通過將「每個(gè)查詢花費(fèi)一分錢提到每個(gè)查詢花費(fèi)一毛錢」來改善模型響應(yīng)。

奧特曼也強(qiáng)調(diào)了 OpenAI 推理模型的重要性，它可以與 LLM 相結(jié)合。

「我希望推理能解鎖很多我們等待多年的事情 —— 例如，像這樣的模型能夠?yàn)榭茖W(xué)研究做出貢獻(xiàn)，幫助編寫更多非常困難的代碼，」奧特曼在 10 月的一次應(yīng)用開發(fā)者活動(dòng)中說道。

在最近接受 Y Combinator 首席執(zhí)行官 Garry Tan 采訪時(shí)，奧特曼表示，「我們基本上知道該怎么做」才能實(shí)現(xiàn)通用人工智能，即與人類智力相當(dāng)?shù)募夹g(shù) —— 其中的一部分涉及「以創(chuàng)造性的方式使用現(xiàn)有模型」。

數(shù)學(xué)家和其他科學(xué)家表示，o1 對(duì)他們的工作很有幫助，因?yàn)樗梢猿洚?dāng)可以提供反饋或想法的伙伴。但兩位了解情況的員工表示，該模型目前的價(jià)格比非推理模型高出六倍，因此它還沒有廣泛的客戶群。

「突破漸近線」

一些向人工智能開發(fā)者投入了數(shù)千萬美元的投資者懷疑，大語言模型的進(jìn)步速度是否開始趨于平穩(wěn)。

Ben Horowitz 的風(fēng)險(xiǎn)投資公司已經(jīng)投資了 OpenAI、Mistral 和 Safe Superintelligence 等公司，他在 YouTube 頻道里表示：「我們正在以同樣的速度增加『用于訓(xùn)練人工智能的 GPU』的數(shù)量，但我們根本沒有從中獲得智能改進(jìn)?！?/p>

Horowitz 的同事 Marc Andreessen 在同一視頻中則表示，「有很多聰明人正在努力突破漸近線，想辦法達(dá)到更高水平的推理能力?！?/p>

企業(yè)軟件公司 Databricks 的聯(lián)合創(chuàng)始人兼主席聯(lián)合開發(fā)者 Ion Stoica 表示，大模型的表現(xiàn)可能在某些方面已經(jīng)停滯，但在其他方面仍在進(jìn)步。

Stoica 表示，盡管大模型在代碼和解決復(fù)雜、多步驟問題等任務(wù)方面不斷改進(jìn)，但其在執(zhí)行通用任務(wù)（如分析一段文本的情感或描述醫(yī)療問題的癥狀）方面似乎進(jìn)展緩慢。

「對(duì)于常識(shí)性問題，你可以說，目前我們看到 LLM 的表現(xiàn)停滯不前。我們需要 [更多] 事實(shí)數(shù)據(jù)，而合成數(shù)據(jù)沒有太大幫助，」他說道。

你覺得 AI 發(fā)展的 scaling laws 速度放緩了嗎？推理時(shí)間計(jì)算能否成為新的性能提升來源？請(qǐng)與我們分享你的觀點(diǎn)。

參考鏈接：

• https://www.theinformation.com/articles/openai-shifts-strategy-as-rate-of-gpt-ai-improvements-slows
• https://www.youtube.com/watch?v=xXCBz_8hM9w
• https://arxiv.org/abs/2211.04325

https://www.youtube.com/watch?v=hookUj3vkE4