從 ChatGPT 問世以來，大模型和 AI 技術(shù)就引起全世界的廣泛關(guān)注。一方面，人們驚嘆于大模型的涌現(xiàn)能力，另一方面又對人工智能的可控性及未來發(fā)展產(chǎn)生擔(dān)憂。今年已有包括圖靈獎得主 Geoffrey Hinton、Yoshua Bengio 在內(nèi)的 AI 領(lǐng)域?qū)＜业缺姸鄻I(yè)內(nèi)人士多次聯(lián)合警告 AI 大模型將引發(fā)一系列風(fēng)險，甚至有人呼吁叫停 GPT-4 后續(xù) AI 大模型的研發(fā)。

OpenAI 作為 ChatGPT、GPT-4 等大模型背后的公司，無疑被推上了風(fēng)口浪尖。OpenAI 的 CEO Sam Altman 近期正在全球巡回演講，旨在消除人們對人工智能的「恐懼」，并聽取 OpenAI 產(chǎn)品的開發(fā)人員和用戶的意見。

據(jù)《Fortune》報道，5 月 Sam Altman 與一些開發(fā)人員和初創(chuàng)公司創(chuàng)始人閉門會面，并講述了 OpenAI 的路線圖和面臨的挑戰(zhàn)。這場閉門會的參與者之一 ——Humanloop 的聯(lián)合創(chuàng)始人兼 CEO Raza Habib 最近在一篇博客中提及了 OpenAI 的產(chǎn)品規(guī)劃和發(fā)展瓶頸。

原博客現(xiàn)已刪除，但有網(wǎng)友上傳了博客快照（副本），我們來看一下博客的具體內(nèi)容：

OpenAI 現(xiàn)在面臨的最大問題是受限于 GPU

目前 OpenAI 面臨非常嚴(yán)峻的 GPU 限制，這也延遲了他們一些短期計(jì)劃的實(shí)施。近來，客戶投訴最多的是關(guān)于 API 的可靠性和速度問題。Sam 承認(rèn)了這個問題，并解釋說客戶抱怨的大部分問題是由于 GPU 短缺造成的。

在處理文本方面，更長的 32k 上下文還不能面向更多人推出?，F(xiàn)在 OpenAI 還沒有完全克服注意力機(jī)制的 O (n^2) 擴(kuò)展問題，雖然 OpenAI 似乎很快就能實(shí)現(xiàn) 100k-1M token 上下文窗口（在今年內(nèi)）文本處理，但更大的文本處理窗口需要進(jìn)一步的研究突破。

不僅如此，目前，微調(diào) API 也受到 GPU 供應(yīng)的限制。OpenAI 尚未使用像 Adapters 或 LoRa 這樣的高效微調(diào)方法，因此微調(diào)運(yùn)行和管理起來計(jì)算都非常密集。Sam 透漏更好的微調(diào)技術(shù)將在未來推出，他們甚至可能提供一個社區(qū)專門研究模型。

此外，專用容量提供也受到 GPU 供應(yīng)的限制。OpenAI 還提供專用容量，為客戶提供一個私有的模型副本。要使用此服務(wù)，客戶必須愿意預(yù)先承諾支出 10 萬美元。

OpenAI 的近期路線圖

在交談中，Sam 分享了 OpenAI API 的近期路線圖，主要分兩個階段：

2023 的路線：

• OpenAI 的首要任務(wù)是推出更便宜、更快的 GPT-4—— 總的來說，OpenAI 的目標(biāo)是盡可能地降低智能成本（the cost of intelligence），因此隨著時間的推移，API 的成本將會降低。
• 更長的上下文窗口 —— 在不久的將來，上下文窗口可能高達(dá) 100 萬個 token。
• 微調(diào) API—— 微調(diào) API 將擴(kuò)展到最新的模型，但其確切形式將由開發(fā)人員決定。
• 狀態(tài) API—— 現(xiàn)在調(diào)用聊天 API 時，你必須反復(fù)地通過相同的會話歷史，并一次又一次地為相同的 toke 進(jìn)行支付。將來版本的 API 可以記住會話歷史記錄。
• 2024 年路線：
• 多模態(tài) —— 這是作為 GPT-4 版本的一部分進(jìn)行演示的，但在更多 GPU 上線之前不能擴(kuò)展到所有人。

插件沒有 PMF，也不會很快出現(xiàn)在 API 中

很多開發(fā)人員都對通過 API 訪問 ChatGPT 插件感興趣，但 Sam 說他認(rèn)為這些插件短期內(nèi)不會發(fā)布。除了瀏覽之外，插件的使用表明他們還沒有 PMF。Sam 指出，很多人希望自己的應(yīng)用程序位于 ChatGPT 之內(nèi)，但他們真正想要的是應(yīng)用程序中的 ChatGPT。

除了與類 ChatGPT 競爭外，OpenAI 將避免與其客戶競爭

很多開發(fā)者表示，當(dāng) OpenAI 發(fā)布新產(chǎn)品時，他們對使用 OpenAI API 構(gòu)建的應(yīng)用程序感到緊張，因?yàn)?OpenAI 最終可能會發(fā)布與他們競爭的產(chǎn)品。Sam 表示 OpenAI 不會發(fā)布 ChatGPT 之外更多的產(chǎn)品。他說有很多偉大的平臺公司都有一個殺手級的應(yīng)用程序，ChatGPT 將允許他們通過成為自己產(chǎn)品的客戶來使 API 更好。ChatGPT 的愿景是成為一個超級智能的工作助手，但 OpenAI 不會涉足許多其他 GPT 的用例。

監(jiān)管是必要的，但開源也是必要的

盡管 Sam 主張對未來的模型進(jìn)行監(jiān)管，但他并不認(rèn)為現(xiàn)有的模型存在危險，并認(rèn)為對它們進(jìn)行監(jiān)管或禁止將是一個巨大的錯誤。他再次強(qiáng)調(diào)了開源的重要性，并表示 OpenAI 正在考慮開源 GPT-3。OpenAI 之所以遲遲未能開源的部分原是因?yàn)樗麄冇X得沒多少人和公司有能力妥善管理如此大型的語言模型。

擴(kuò)展定律仍然存在

最近許多文章都聲稱「巨型人工智能模型的時代已經(jīng)結(jié)束」。Sam 表示這并沒有準(zhǔn)確地表達(dá)他的意思。

OpenAI 的內(nèi)部數(shù)據(jù)顯示，擴(kuò)展定律仍然成立，而且增大模型的規(guī)模將繼續(xù)提高性能。然而，模型的規(guī)模無法一直按照相同的比例增加，因?yàn)樵诙潭處啄陜?nèi)，OpenAI 已經(jīng)使模型規(guī)模增大了數(shù)百萬倍，繼續(xù)這樣做將不可持續(xù)。但這并不意味著 OpenAI 將停止努力使模型變得更大，而是意味著它們可能每年增加一倍或三倍的規(guī)模，而不是呈幾個數(shù)量級的增長。

擴(kuò)展模型仍然有效，這一事實(shí)對 AGI 的發(fā)展具有重要意義。擴(kuò)展規(guī)模的理念是，我們可能已經(jīng)有構(gòu)建 AGI 所需的大部分要素，而剩下的大部分工作將采用現(xiàn)有的方法，并將它們擴(kuò)展到更大的模型和更大的數(shù)據(jù)集上。如果模型擴(kuò)展時代已經(jīng)結(jié)束，我們到達(dá) AGI 的時間將會更久。擴(kuò)展定律仍然適用的事實(shí)暗示著我們會用更短的時間實(shí)現(xiàn) AGI。