Is Scaling All You Need? LLM收益遞減，AI小廠難活命
Scaling law走到盡頭了嗎？
近日，馬庫斯的一句「Is scaling all you need?」引發了正反兩方的論戰。
馬庫斯表示，距離GPT-4發布已經過去了14.5個月，在那之后，又有大約有500億美元投資在芯片上，但仍然沒有模型能夠真正打敗GPT-4。
It's now 14.5 months post GPT-4, and roughly $50B in chipspost GPT-4, and still nobody has decisively beat it.
Many have converged in roughly the same place.
That's *evidence*. Each day that passes without a further breakthrough is more evidence that it is time to consider alternatives.
業界和學界砸了這么多資源在LLM上，但證據似乎表明，我們已經很長時間停滯不前了。
展望未來，模型性能提升所需的算力已經很難滿足（遠超摩爾定律），
而又有研究表明LLM性能的線性增長，很可能需要指數級的數據，
——「也許，是時候考慮替代方案了。」
德克薩斯大學心理學教授Art Markman表示，「我們已經把所有數據都榨干了」。
歸根結底，這與模型的大小無關，而是與語言統計結構中的信息量有關。我認為我們已經從這些數據中榨取了所有可能的東西。除非我們開發出強大的方法，把LLM鏈接到基于符號知識的模型，否則我們就觸及天花板了。
另有專業人士認為，問題出在數學層面，「我們現在處于一個平臺期，因為大部分數據已經被消耗掉了，而使用模型自己生成的數據會破壞系統」。
「除非再次改變整個結構，否則大多數人工智能將逐漸消失」。
Scaling is all you need.
對此反方表示，你們太消極了，咱們這不是天天都有進步嗎？
模型越來越小，速度越來越快，并且能保持接近SOTA的性能，——還要啥自行車？
「Llama 3 70B比GPT-4（1.8T參數）小約25倍，性能相似。GPT-4o的大小可能是GPT-4的一半，但性能優于GPT-4，并且包括音頻和圖像生成。」
還有網友說，你又沒看到在10倍算力和10倍數據上訓練的模型，怎么能說撞墻了？
我們已從數據中榨取一切
許多跡象表明，我們已經進入了回報遞減的時期。
我們都知道GPT-3比GPT-2好得多，而GPT-4比GPT-3好得多，——但之后呢？
OpenAI曾用這張圖表來吹捧GPT-4 Turbo在過去一段時間的改進：
確實看上去有一些提升，但問題是，從長期的歷史數據來看，進步的比例有多少。
馬庫斯在自己的博客中給出了下面這張圖：
能作為對比的基準測試只找到了MMLU，里面也沒有GPT 3.5，算是管中窺豹吧。
當然了，沒有再進步的一個原因可能是觸及基準測試的上限了，畢竟100分很可能只是代表著過擬合。
所以，讓我們來看另一項有趣的測試：來自《紐約時報》的Connections游戲。
聰明的人類可以在任何給定數據上獲得90以上的分數，但目前的模型得分還比較保守，完全不存在摸到天花板的問題。
我們可以看到，在性能獲得巨大飛躍之后，GPT-4系列好像就熄火了。
那堵墻要來了
從另一個角度看，模型的性能似乎也正在收斂。
下圖給出了開源和閉源兩個陣營的戰況：
紅點代表的閉源模型領先于同時期的開源模型，但通過擬合紅綠雙方的數據，我們可以發現，開源和閉源的性能差距在逐漸縮小。
另外，從2022年大模型爆火到今天，LLM仍然會時不時犯一些愚蠢的錯誤，幻覺問題也依然沒有得到解決。
比如已經學會畫圖的ChatGPT，仍然可能不會數數：
如果LLM無法解決自身的問題，如果人們對于GenAI的熱情開始減弱，這個領域的市場估值將會暴跌。
當然，AI不會消失，LLM也不會消失，而是會成為一種近似的工具占有一席之地，但那個黃金時代再也不會到來了。
AI 小廠苦苦掙扎
在Sequoia Capital的一項統計中，初創公司大概花了500億美元購買NVIDIA的芯片來訓練大模型，
但結果是，他們總共只賺了30億美元，——這樣的買賣顯然做不成。
大多數公司都在苦苦掙扎，尋找能賺錢的路子，另一方面，迫于經濟壓力，很多公司也在裁員或者轉型。
最近幾周，Inflection AI基本上關閉了商店，首席執行官和大部分員工已經離職加入了微軟；
Character.ai的產品很受歡迎，但報告的年收入僅有不到2000萬美元；
基于LLM的自動駕駛公司Ghost關閉了商店；
「差點取代了程序員」的AI編碼系統Devin受到嚴重質疑；
還有早已不再「stable」的Stability AI，風雨中飄搖但身殘志堅，發不起工資也不耽誤開源，如今四處找錢尋求「賣身」。
除了頭部的OpenAI和Anthropic，大部分AI小廠的日子都不好過，哪怕是曾風光一時的獨角獸，沒有靠譜的商業模式，錢燒完也就完了。
一位AI領域的CEO表示，風險投資者也開始變得謹慎了，希望控制成本，希望看到收益。
生成式AI的初創公司目前也傾向于選擇計算需求較小的道路，省錢、省電、省人，趕緊想辦法搞錢，而不是先給英偉達爸爸上貢。
同時，我們也看到了開源模型的崛起，Meta和Mistral等公司為世界提供了更低成本的解決方案，小廠可以在此基礎上前進。
AI產業的整條鏈路上，最不擔心的就是老黃了。
老黃表示，聊天機器人正在向多模態邁進，對于圖片和聲音的處理會消耗掉所有的GPU。
而且有很多GenAI初創公司還拿不到所需的GPU，老黃估計有15,000到20,000個不同領域的公司都需要訓練端到端模型。
然而，這些模型的大小以及他們需要的計算能力如何，還是一個問題。
我們通常認為英偉達的最大客戶是那些大型云服務提供商，但自動駕駛、邊緣計算、機器人等，已經成長為一個巨大且重要的市場。
特斯拉有幾百萬輛汽車行駛在世界各地，終端和云端都需要處理大量的數據。
馬老板買了35000個GPU，這還只是個開始，未來這個領域的變化會非常快，會有更多的新動態，和層出不窮的新技術。
在這方面，很多公司應該向馬老板學習，先賺到錢才是王道。
