編輯 ｜ 言征

出品 | 51CTO技術(shù)棧（微信號：blog51cto）

2025年開年，AI芯片的市場角逐再度成為大洋彼岸的角逐話題。近日，霸主英偉達(dá)的收入增長速度開始放緩，相比之下過去30天博通等公司股價持續(xù)暴漲，業(yè)界很多人都在猜測率先打破英偉達(dá)壟斷地位的第二“英偉達(dá)”會是誰?云租賃市場又會發(fā)生怎樣的變化?

12月25日，最新一期的BG2播客中，主持人比爾·格利（Bill Gurley）和布拉德·杰斯特納（Brad Gerstner）再次同臺，并邀請了SemiAnalysis的創(chuàng)始人兼首席分析師迪倫·帕特爾（Dylan Patel），一起來討論AI芯片、半導(dǎo)體領(lǐng)域正在進(jìn)行著的此消彼長和開年AI巨無霸的最新動向。

播客中，三位討論了芯片競爭中英偉達(dá)的眾多對手：AMD、Intel、谷歌、亞馬遜甚至包括曾揚言要打造自己芯片的OpenAI等內(nèi)部的一些新進(jìn)展，以及存儲市場的利好利空和未來預(yù)測，比如他們預(yù)計內(nèi)存市場的增速將會超過GPU（領(lǐng)先硅）、2026年微軟和Meta的自由現(xiàn)金流將接近于0，這是馬斯克帶頭大搞軍備競賽的結(jié)果。

在開始討論這個話題之前,三位還探討了AI預(yù)訓(xùn)練的撞墻、合成數(shù)據(jù)生成,以及既然都在說“預(yù)訓(xùn)練已過時”但仍建造更大集群的悖論、推理時的計算等。

話不多說，這就為大家奉上精彩的觀點。

• 微軟在OpenAI模型上賺取50%到70%的毛利率。這是他們從AI獲得的利潤分成或他們放棄的份額。
• 有15家不同的公司在那里提供Llama和阿里巴巴和DeepSeek和Mistral等不同模型的API推理。
• 如果我們只是部署lalama 7 B質(zhì)量的模型，我們已經(jīng)過度建設(shè)了，這甚至不是開玩笑。
• 對于實驗室而言，你必須擁有最好的模型，否則你什么都不是。
• Nvidia最高的銷售成本并不是臺積電，這是人們沒有意識到的，實際上主要是HBM內(nèi)存。
• 三星并沒有大殺四方，因為低端正在遭受打擊，高端又無法突破。
• AMD的GPU被認(rèn)為更好的唯一原因：芯片上的HBM內(nèi)存更多。
• 谷歌為一些英偉達(dá)可能沒有那么關(guān)注的事情進(jìn)行了工程設(shè)計。所以實際上，芯片之間的互連在某些方面可能具有競爭力，甚至比英偉達(dá)更好，在其他方面則稍遜一籌，因為他們一直在與博通合作。
• 博通非常適合制造NV交換機的競爭產(chǎn)品，許多人會認(rèn)為這是英偉達(dá)在硬件方面相對于其他人的最大競爭優(yōu)勢之一。
• 在接下來的六個月里，谷歌TPU的購買會有所放緩，因為他們沒有數(shù)據(jù)中心空間。

以下是相關(guān)的內(nèi)容整理，原文節(jié)選整理如下：

大模型進(jìn)入推理價格戰(zhàn)時代如同從Oracle進(jìn)入到開發(fā)時代

比爾: 

快速提問。我們承諾會討論這些替代方案。所以我們最終會到達(dá)那里。但如果你回顧一下，我們已經(jīng)多次使用互聯(lián)網(wǎng)浪潮的比較，當(dāng)所有的風(fēng)險投資公司開始在互聯(lián)網(wǎng)上發(fā)展時，他們都在Oracle和Sun上，五年后，他們不再在Oracle或Sun上。有些人認(rèn)為他們從開發(fā)沙盒世界過渡到了優(yōu)化世界。這種情況會發(fā)生嗎？這里有沒有等價性？如果你能談?wù)劄槭裁春蠖巳绱硕盖秃捅阋耍阒赖模热缒阃艘徊剑阒溃阒恍枰晕⒑笸艘稽c就可以節(jié)省很多成本，這很瘋狂。  

迪倫:  

是的，所以，今天，對吧？像o1非常昂貴，你退到4o，它就便宜多了，你跳到4o和mini，它非常便宜，為什么？因為現(xiàn)在我用4o和mini與Llama競爭，我與DeepSeek競爭。我與mistral競爭，我與阿里巴巴競爭，我與許多公司競爭。  

比爾:  

這些是市場出清價格。  (出清價格是指：通過競爭機制形成的價格，使得市場供需達(dá)到平衡。)

迪倫:  

我認(rèn)為是的。此外，對吧，還有一個問題是推理一個小模型相當(dāng)容易，對吧？我可以在1個AMD GPU上運行l(wèi)alama 70 b，我可以在一個Nvidia GPU上運行l(wèi)alama 70 b，很快就會有像在亞馬遜的新Trainium上運行一樣，對吧？我可以在一個芯片上運行這個模型。這是一個非常容易的問題，我不會說非常容易的問題，仍然很難。它比運行這個復(fù)雜的推理或這個非常大的模型要容易得多，對吧？因此，存在這種差異，對吧？還有就是，嘿，有15家不同的公司在那里提供Llama和阿里巴巴和DeepSeek和Mistral等不同模型的API推理，對吧？  

布拉德:

我們在談?wù)揅erebras（芯片廠商）和Groq，還有你知道的，F(xiàn)ireworks和所有這些其他的。  

迪倫:  

是的，F(xiàn)ireworks一起。你知道的，所有這些不使用自己硬件的公司。當(dāng)然，Groq和Cerebras正在做自己的硬件并也在做這件事，但市場，這些，這里的利潤率很差，對吧？  

你知道的，我們之前有關(guān)于推理價格戰(zhàn)的事情，當(dāng)mistral發(fā)布了他們的mixed stra模型時，這在去年晚些時候是非常革命性的，因為它達(dá)到了一個在開源中不存在的性能水平，它使價格下降得如此之快，對吧？  

迪倫:

因為每個人都在為API競爭。我作為API提供者能為你提供什么？為什么你不從mine切換到his，因為，嗯，沒有，它相當(dāng)通用，對吧？我仍然在同一個模型上獲得相同的tokens，所以這些家伙的利潤率要低得多。所以微軟在OpenAI模型上賺取50%到70%的毛利率。這是他們從AI獲得的利潤分成或他們放棄的份額，對吧？

或者，你知道的，Anthropic在他們最近一輪中，他們展示了70%的毛利率，但這是因為他們有這個模型，你退到這里，沒有人使用這個模型，你知道的，從OpenAI或Anthropic使用這個模型的人要少得多，因為他們可以像取Llama的權(quán)重一樣，放在自己的服務(wù)器上，或者反之亦然，去許多競爭的API提供者那里，其中一些是風(fēng)險投資的，一些是，你知道的，而且在虧錢，對吧？所以這里存在所有這些競爭。  

所以你不僅在說我要退一步，這是一個更容易的問題。我，因此，如果模型小10倍，它就像在頂尖模型運行時便宜15倍。在頂部的那之上，我還要去掉那個毛利率。所以它不是運行時便宜15倍，而是運行時便宜30倍。所以這就是，這就是像，好吧，一切都變成商品了嗎？但這里有一個巨大的追逐空間，如果你在部署服務(wù)，這對你來說是很好的。  

為什么非得要做最好的模型？能賺錢嗎？

迪倫:

你必須擁有最好的模型，否則你什么都不是，如果你是實驗室之一，對吧？因此，你會看到許多試圖構(gòu)建最好模型但失敗的公司都在掙扎。  

布拉德:

而且可以說，你不僅需要擁有最好的模型，你實際上真的需要有一個愿意為最好的模型買單的企業(yè)或消費者。因為歸根結(jié)底，最好的模型意味著有人愿意為你支付這些高利潤率。而那要么是企業(yè)，要么是消費者。所以我認(rèn)為，你知道的，你很快就會縮小到只有少數(shù)人能夠在這個市場上競爭。  

迪倫:

在模型方面，是的。我認(rèn)為在誰愿意為這些模型買單方面，我認(rèn)為更多的人會為最好的模型買單，對吧？  

當(dāng)我們內(nèi)部使用模型時，對吧？我們有，我們有，我們有語言模型檢查每一個監(jiān)管文件和許可，以查看數(shù)據(jù)中心的東西并將其提取出來，告訴我們應(yīng)該看哪里以及不應(yīng)該看哪里。我們只是使用最好的模型，因為它非常便宜，對吧？就像我從中獲得的數(shù)據(jù)，我從中獲得的價值要高得多。你們在用什么模型？我們現(xiàn)在實際上使用的是Anthropic，cloud three point。我看到了新的sonnet。所以只是因為o1在某些方面更好，但不一定是監(jiān)管文件和許可以及類似的事情，因為錯誤的成本要高得多，對吧？  

同樣對于開發(fā)者來說，對吧？如果我能提高一個在灣區(qū)年薪30萬美元的開發(fā)者20%，那將很多。如果我能用75或50個開發(fā)者完成一個團(tuán)隊100個開發(fā)者的同樣工作，或者我能發(fā)布兩倍多的代碼，使用最昂貴的模型是如此值得的，因為o1很昂貴。相對于4o來說，它仍然非常便宜，對吧？  

社會對智能的需求成本很高，對吧？這就是為什么智能工作是最高薪的工作，白領(lǐng)工作，對吧？或者如果能夠降低智能的成本或增強智能，那么就會有一個很高的市場出清價格，這就是為什么我認(rèn)為，哦，是的，o1很昂貴，人們總是會傾向于在一定水平上尋找最便宜的東西。但每次我們突破一個新的智能水平時，不僅僅是，哦，你知道的，如果我們能多做幾項任務(wù)，我認(rèn)為它可以完成的任務(wù)模式會大幅增長。

很少有人能使用GPT 2和3，對吧？當(dāng)達(dá)到下一代的質(zhì)量飛躍時，很多人可以使用GPT-4，能夠使用它的人數(shù)，它可以完成的任務(wù)數(shù)量將會爆炸性增長，因此它可以增強的白領(lǐng)工作，提高生產(chǎn)力的數(shù)量將會增長，因此該tokens的市場出清價格將會非常有趣。  

英偉達(dá)卡如果僅用來推理，顯然是過度建設(shè)了

比爾：

非常有趣。我可以提出另一種論點，即某人處于高容量狀態(tài)，你知道的，這在取代大量客戶服務(wù)電話或其他方面可能會傾向于絕對最小化支出，并最大化圍繞這個東西構(gòu)建的價值。數(shù)據(jù)庫寫入和讀取等等。  

迪倫：

所以，我喜歡的一個有趣的計算是，如果你取Nvidia出貨量的四分之一，并假設(shè)它們都用于推理lalama 7 b，你可以給地球上每個人每分鐘100個tokens，對吧？或者對不起，每秒100個tokens。你可以給地球上每個人每秒100個tokens，這很荒謬，你知道的。所以，如果我們只是部署lalama 7 B質(zhì)量的模型，我們已經(jīng)過度建設(shè)了，這甚至不是開玩笑。現(xiàn)在如果我們部署的東西可以增強工程師，提高生產(chǎn)力，并幫助我們更快地構(gòu)建機器人或自動駕駛汽車或其他東西，那么這是一個非常不同的計算，對吧？因此，這就是整個事情，是的，小模型是存在的，但它們非常容易運行。  

比爾：

運行它們，這兩者可能都是真的，對吧？  

迪倫：

我們將有大量小模型在到處運行，但它們的計算成本非常低。是的。  

布拉德：

比爾和我之前討論過這個問題，關(guān)于你曾經(jīng)報道的硬盤。但如果你看看內(nèi)存市場，它一直是一個繁榮與蕭條的市場。想法是你總是在接近峰值時出售這些東西。你知道的，你總是在低谷時購買它們。你不會在中間的任何地方擁有它們。它們的市盈率非常低。我在談?wù)揌ynix和Micron，當(dāng)你考慮到推理時的計算時，似乎這些芯片所需的內(nèi)存需求，Jensen已經(jīng)談了很多關(guān)于這一點，正在經(jīng)歷一個長期的上升趨勢，對吧？因為如果他們進(jìn)行這些傳遞，你知道的，你正在運行，就像你說的，10次或100次或1000次推理時推理，你只需要越來越多的內(nèi)存，這就是上下文長度。  

內(nèi)存市場的增長速度或超過GPU

布拉德：

所以，談一談你對內(nèi)存市場的看法。  

迪倫： 

是的，所以，為了更好地設(shè)定舞臺，推理模型輸出成千上萬個tokens。  當(dāng)我們查看變換器注意力時，對吧？變換器的圣杯就是它如何理解整個上下文，這會顯著增長。而Kv緩存，即跟蹤這個上下文意味著什么的內(nèi)存，是呈二次方增長的，對吧？因此，如果我從上下文長度10增加到100，這不僅僅是10倍，而是更多，對吧？所以你正確地看待它。今天的推理模型，它們會思考10000個tokens，20000個tokens，當(dāng)我們達(dá)到，嘿，復(fù)雜的推理會是什么樣子？模型將達(dá)到思考數(shù)十萬個tokens的程度，而這只是整個思維過程的一部分，或者可能是某種搜索，但它會思考很多。而這個Kv緩存將會膨脹。  

比爾：

你是在說內(nèi)存的增長速度可能會超過GPU。  

迪倫：

客觀地說，當(dāng)你查看Nvidia的銷售成本時，他們最高的銷售成本并不是臺積電，這是人們沒有意識到的，實際上主要是HBM內(nèi)存，至少目前是這樣。  

比爾：

但沒錯，所以，所以有。  

迪倫： 

有三家內(nèi)存公司，對吧？有三星、SK hynix和Micron。Nvidia主要使用SK Hynix，這是內(nèi)存市場整體的一個重大轉(zhuǎn)變，因為歷史上它一直是一個商品，對吧？也就是說，無論我從三星還是SK hynix還是Micron購買，它都是通用的。  

比爾：

或者可以互換。  

迪倫：

是的。甚至現(xiàn)在三星也受到了很大的打擊，因為有一個中國內(nèi)存制造商cxmt，他們的內(nèi)存不如三星的好，但它是低端內(nèi)存，它是通用的，因此低端內(nèi)存的價格已經(jīng)大幅下降。在HBM方面，三星幾乎沒有份額，對吧？尤其是在Nvidia。因此，這正在嚴(yán)重打擊三星，盡管他們是世界上最大的內(nèi)存制造商，哦，每個人總是說，如果你說內(nèi)存，就像，是的。三星在技術(shù)上稍微領(lǐng)先一點，他們的利潤率稍微好一點，他們正在大殺四方，對吧？但現(xiàn)在情況并非完全如此，因為在低端，他們受到了一點打擊，而在高端，他們無法突破，或者他們一直在嘗試，但一直在失敗。  

迪倫：

另一方面，你有像SK Hynix和Micron這樣的公司，他們正在將大量產(chǎn)能從商品DRAM轉(zhuǎn)換為HBM。現(xiàn)在HBM仍然是通用的，對吧？在某人達(dá)到一定技術(shù)水平的情況下，他們可以互換Micron和Hynix，對吧？所以在那個意義上它是通用的，對吧？在那個意義上它是一個商品。但因為推理需要更多的內(nèi)存，而H-100到Blackwell的銷售成本中，HBM的成本占比增長速度超過了領(lǐng)先硅的成本占比。  

你有這種大的轉(zhuǎn)變或動態(tài)正在發(fā)生。這不僅適用于Nvidia的GPU，也適用于超大規(guī)模的GPU，對吧？或者像TPU、Amazon、Trainium等加速器。  

HBM市場的毛利率：并不高，英偉達(dá)很強勢

比爾：

SK的毛利率更高，內(nèi)存公司也是如此，對吧？

布拉德：

如果你聽Jensen（黃仁勛）的描述，你知道的，不是所有的內(nèi)存都是一樣的，對吧？所以不僅僅是產(chǎn)品今天更具差異化，產(chǎn)品中包含的軟件更多，而且它還如何整合到整個系統(tǒng)中，對吧？回到供應(yīng)鏈問題，聽起來它都是商品。只是在我看來，至少有一個問題是，它是否在結(jié)構(gòu)上發(fā)生了變化？我們知道長期趨勢是向上的。  

比爾：

也許它足夠差異化，以至于不再是商品。  

迪倫：  

它可能是。我想指出的另一件事是，有趣的是，HBM的毛利率并不出色。它們還不錯，但并不出色，實際上普通的內(nèi)存，像服務(wù)器內(nèi)存這種高端內(nèi)存，但不是HBM，毛利率實際上比HBM更高。原因在于Nvidia對內(nèi)存制造商施加了如此大的壓力，對吧？他們希望HBM的內(nèi)存一代比一代更快，但并不一定是像其他人那樣用于服務(wù)器。  

AMD：很多巨頭幫忙，但仍不足以叫板英偉達(dá)

迪倫：

現(xiàn)在這意味著什么，這意味著，嘿，即使三星可能達(dá)到了4級，對吧，或者他們之前達(dá)到的3級，他們也無法達(dá)到Hynix現(xiàn)在的水平。競爭對手在做什么，對吧？AMD和亞馬遜在說什么？AMD明確表示他們的GPU更好，因為他們提供了更多的內(nèi)存，對吧？他們提供了更多的內(nèi)存和更多的內(nèi)存帶寬。這就是AMD的GPU被認(rèn)為更好的唯一原因，芯片上的HBM內(nèi)存。  

迪倫：

好的，這是在封裝上，對吧？具體來說，是的。然后當(dāng)我們看亞馬遜時，他們在reinvent上的一切，如果你真的和他們談過，當(dāng)他們宣布Trinum 2時，我們關(guān)于它的整個帖子和分析是，從供應(yīng)鏈的角度來看，這看起來像是亞馬遜Basics TPU，對吧？它還不錯，對吧？但它真的很便宜，A&B，它提供了市場上任何芯片每美元最多的HBM容量和最多的HBM內(nèi)存帶寬。因此，對于某些應(yīng)用來說，使用它是有意義的。所以這是一個真正的轉(zhuǎn)變，嘿，我們可能無法像Nvidia那樣設(shè)計，但我們可以在封裝上放置更多的內(nèi)存。  

現(xiàn)在，這只是問題的一個方面，你知道的，這是一個多方面的問題。他們的網(wǎng)絡(luò)能力遠(yuǎn)遠(yuǎn)不夠好，他們的軟件遠(yuǎn)遠(yuǎn)不夠好，他們的計算單元也不夠好。他們，天哪，他們每美元的內(nèi)存帶寬更多。  

比爾： 

好吧，這就是我們想在時間耗盡之前討論的，就是談?wù)勥@些替代方案，你剛剛開始這樣做。所以盡管有所有令人驚嘆的理由，似乎沒有人會想與Nvidia爭斗，但許多人正在嘗試，對吧？我甚至聽到有人談?wù)撃切┻€沒有嘗試的，比如OpenAI一直在談?wù)撍麄冏约旱男酒＿@些其他參與者表現(xiàn)如何？你會如何評估？讓我們從AMD開始，因為它是獨立公司，然后我們再談?wù)勔恍﹥?nèi)部項目。  

迪倫： 

是的，所以AMD在硅工程方面做得很好，對吧？從硅工程的角度來看，他們是有競爭力的，但你知道，kickton告訴我們，但這就像，你知道，從嬰兒那里偷糖果一樣。  

比爾：

他們從這里開始，我認(rèn)為在20年的時間里，這是相當(dāng)令人驚嘆的。  

迪倫： 

所以AMD非常好，但他們?nèi)鄙佘浖MD不知道如何做軟件，我認(rèn)為他們上面的開發(fā)者很少。他們不會花錢為自己建造一個GPU集群，以便他們可以開發(fā)軟件，對吧？這簡直是瘋狂的，對吧？  

迪倫：  

像Nvidia一樣，你知道的，前500名超級計算機列表并不相關(guān)，因為大多數(shù)最大的超級計算機，比如Elon的X和微軟等都不在上面。但Nvidia在前500名超級計算機列表上有多個超級計算機，他們完全內(nèi)部使用它們來開發(fā)軟件，無論是網(wǎng)絡(luò)軟件、計算軟件、推理軟件，所有這些東西，你知道的，測試他們所做的所有更改，然后推出更新，你知道的，如果XAI因為軟件不工作而生氣，視頻將在第二天或兩天后推出更新，就像時鐘一樣，對吧？因為當(dāng)你在訓(xùn)練模型時，總會有許多東西不斷出錯。

AMD不這樣做，對吧？我不知道為什么他們不花錢買一個大型集群，另一件事是他們不知道如何進(jìn)行系統(tǒng)級設(shè)計。他們一直生活在一個與Intel競爭的世界中。所以如果我制造了一個比Intel更好的芯片，那么我就很棒，因為軟件是x86。 

比爾：

它是X，我的意思是Nvidia并不隱瞞他們是一個系統(tǒng)公司，所以他們應(yīng)該已經(jīng)讀過所有這些。  

迪倫： 

是的，所以他們收購了這個系統(tǒng)公司Zt systems，但在那里，你知道的，整個機架規(guī)模架構(gòu)，谷歌在2018年與GPU V3一起部署。  

比爾：

有沒有超大規(guī)模公司對AMD的成功如此感興趣，以至于他們與AMD合作？  

迪倫：

所以超大規(guī)模公司都有自己的定制硅努力，但他們也在以不同的方式幫助AMD，對吧？所以Meta和微軟在軟件方面幫助他們，對吧？幫助AMD的程度還不足以讓AMD趕上或接近。他們在AMD應(yīng)該做什么方面幫助了很多，對吧？  

迪倫：

所以其他人認(rèn)識到的是，如果我擁有世界上最好的工程團(tuán)隊，那并不能告訴我問題是什么，對吧？問題有這個、這個、這個。它有這些權(quán)衡。AMD不知道軟件開發(fā)，不知道模型開發(fā)，不知道推理，不知道推理經(jīng)濟(jì)學(xué)是什么樣子。那么他們?nèi)绾沃缿?yīng)該做出什么權(quán)衡？我是否應(yīng)該在芯片上更用力地推動這個杠桿，這將使我不得不在其他方面退縮，或者我到底應(yīng)該做什么，對吧？但超大規(guī)模公司在幫助，但幫助的程度還不足以讓AMD與Nvidia處于同一時間線。  

比爾：  

AMD在明年的人工智能收入方面會有多成功？他們可能會在哪些方面取得成功？  

迪倫：

是的，我認(rèn)為他們與微軟的成功會比今年少，他們與Meta的成功也會比今年少。這是因為像他們塑造的方式那樣，AMD的GPU實際上對中國的法規(guī)來說相當(dāng)不錯。但總體而言，我認(rèn)為AMD會做得不錯。他們將從市場中獲利，只是不會像人們希望的那樣大獲成功，他們的總營收份額明年會下降。  

比爾： 

好的？  

迪倫：  

但他們?nèi)匀粫龅煤芎茫瑢Π桑繑?shù)十億美元的收入不是微不足道的。  

谷歌TPU：第二多AI負(fù)載的三大優(yōu)點

比爾：

讓我們談?wù)凣oogle TPU。你之前說過它擁有第二多的工作負(fù)載，似乎相差很大，它穩(wěn)居第二位。

迪倫：

是的，所以這就是整個系統(tǒng)和基礎(chǔ)設(shè)施問題更加重要的地方。

迪倫：

每個單獨的GPU本身并不那么令人印象深刻。對吧？它有不錯的網(wǎng)絡(luò)，有不錯的架構(gòu)等等，內(nèi)存也還可以，對吧？就像它本身并不那么令人印象深刻，但當(dāng)你說到，嘿，如果我花費X金額，那么我的系統(tǒng)會怎樣？谷歌的TPU看起來很了不起。所以谷歌為一些英偉達(dá)可能沒有那么關(guān)注的事情進(jìn)行了工程設(shè)計。所以實際上，芯片之間的互連在某些方面可能具有競爭力，甚至比英偉達(dá)更好，在其他方面則稍遜一籌，因為他們一直在與博通合作，你知道，博通是網(wǎng)絡(luò)領(lǐng)域的世界領(lǐng)導(dǎo)者，你知道，與他們一起制造芯片。自2018年以來，他們一直在擴(kuò)大規(guī)模，對吧？

英偉達(dá)在談?wù)揋B 200 NVL 72 GPU今天達(dá)到8000，對吧？雖然它不是一個交換機，而是一個點對點的連接，你知道，有一些技術(shù)上的細(xì)微差別。所以并不是說這些數(shù)字就是你應(yīng)該關(guān)注的全部，但這很重要。

迪倫：

另一個方面是谷歌多年來一直在引入水冷技術(shù)，對吧？英偉達(dá)剛剛意識到這一代產(chǎn)品需要水冷，而谷歌引入了一種英偉達(dá)GPU所不具備的可靠性水平。你知道，一個不為人知的秘密是去問人們GPU在云中或部署中的可靠性率是多少。就像，哦天哪，它們的可靠性也就那樣，但尤其是在最初，你必須拿出大約5%。

布拉德：

如果它們在谷歌之外沒有更商業(yè)化成功的話。

迪倫：

我認(rèn)為谷歌保留了很多他們的軟件，當(dāng)他們應(yīng)該將其開源時，因為，誰在乎呢？你知道，這是其中一個方面。你知道，DeepMind使用的很多軟件根本無法在Google Cloud 2上使用。

比爾： 

即使是他們的Google Cloud產(chǎn)品相對于AWS也有這種偏見。

迪倫： 

第二，它的定價，嗯，它并不是那么過分，在標(biāo)價上，就像GPU在Google Cloud上的標(biāo)價也是過分的。

迪倫：

但你知道，作為一個個人，當(dāng)我租用GPU時，你知道，我告訴谷歌，嘿，你知道，等等。你就像，好的，你可以繞過第一輪談判，將其降低，但然后你就像，看看來自甲骨文或微軟或亞馬遜或Core Weave或80個Neo Clouds之一的這個報價。谷歌可能不會像許多這些公司那樣匹配，但他們還是會降低價格，因為他們，你知道，然后你就像，哦，好吧，你知道，如果我想租用一個H-100兩年或一年，哦是的，我可以以略高于兩美元的價格得到它，而不是他們報價的4美元，對吧？而GPU，它就在這里。你不知道你可以在這里得到它。所以人們看到標(biāo)價，他們就像，你覺得那會改變嗎？我看不出有什么理由會改變。

迪倫：  

所以第三點是谷歌最好將他們所有的GPU用于內(nèi)部使用。順便說一下，微軟租用的GPU很少，對吧？他們實際上從將GPU用于內(nèi)部工作負(fù)載或用于推理中獲得更多的利潤，因為出售tokens的毛利率是50%到70%，對吧？出售GPU服務(wù)器的毛利率比那個低，對吧？所以雖然它是一個不錯的毛利率，但它是這樣的。

布拉德： 

你知道，他們已經(jīng)表示，在他們報價的100億美元中，沒有來自我的外部GPU租賃。

比爾：

如果Gemini作為一個API變得極具競爭力，那么你將間接地讓第三方使用谷歌TPU。

迪倫： 

是的，絕對的，廣告、搜索、Gemini應(yīng)用，所有這些都使用GPU。所以并不是說你知道，你知道，你上傳的每一個YouTube視頻都經(jīng)過TPU，對吧？它也經(jīng)過他們自己為YouTube制造的其他芯片，但有很多東西會觸及TPU，但你不會直接租用它，對吧？因此，當(dāng)你看租賃市場時，只有一家公司占谷歌TPU收入的70%以上，據(jù)我了解，那就是蘋果。我認(rèn)為圍繞為什么蘋果討厭英偉達(dá)有一個很長的故事。但你知道，那可能是另一個時間的故事。

亞馬遜的芯片：基礎(chǔ)TPU？

比爾： 

但你剛剛做了一篇關(guān)于訓(xùn)練他們的深入報道。為什么你不做一篇關(guān)于谷歌的亞馬遜版本呢？

迪倫： 

是的，所以有趣的是，亞馬遜的芯片，我稱之為亞馬遜的基礎(chǔ)TPU，對吧？我之所以這樣稱呼它，是因為是的，它使用了更多的硅，是的，它使用了更多的內(nèi)存，是的，網(wǎng)絡(luò)在某種程度上與TPU相當(dāng)，對吧？它是一個4乘4乘4的環(huán)面。他們只是以一種效率較低的方式來做這件事，你知道，嘿，他們在活動電纜上花費了更多的錢，因為他們與Marvell和L芯片合作，而不是與博通合作，博通是網(wǎng)絡(luò)領(lǐng)域的領(lǐng)導(dǎo)者，然后可以使用被動電纜，對吧，因為他們的芯片非常強大。還有其他一些事情。速度更低。他們花費了更多的硅面積，你知道，關(guān)于Tranium的所有這些事情，你可以看看它，然后就像，哇，如果這是一個商用硅產(chǎn)品，那會很糟糕，但它不是，因為亞馬遜沒有支付博通的利潤率，對吧？

他們支付的利潤率更低。他們沒有支付HBM的利潤率，他們支付的是，你知道，他們支付的利潤率總體上更低，對吧？支付給Marvell的HBM利潤率，你知道，他們做了所有這些不同的事情來將價格壓低到他們的亞馬遜基礎(chǔ)TPU Tranium 2，對吧，對最終客戶和他們自己來說，就HBM每美元、內(nèi)存帶寬每美元而言，非常具有成本效益。

它有這個64的世界規(guī)模。現(xiàn)在亞馬遜不能在一個機架中做到這一點，實際上需要他們兩個機架來實現(xiàn)64，每個芯片之間的帶寬比英偉達(dá)的機架慢得多，他們的每個芯片的內(nèi)存比英偉達(dá)的低，他們的每個芯片的內(nèi)存帶寬也比英偉達(dá)的低。但你不會支付超過30000美元，你知道，每個芯片40000美元的服務(wù)器。你支付的是，你知道，明顯更少，對吧，每個芯片5000美元，對吧？你知道，這就像對亞馬遜來說是一個巨大的優(yōu)勢，然后他們將其傳遞給客戶，對吧？因為當(dāng)你購買英偉達(dá)GPU時，所以有一些合法的用例，因為這個，對吧？

迪倫： 

亞馬遜和Anthropic決定，你知道，制造一個400000 Tranium服務(wù)器，超級計算機，對吧，400000芯片，對吧？回到整個擴(kuò)展法則已死的問題，哦，他們正在制造一個400000芯片的系統(tǒng)，因為他們真正相信這一點，對吧？而在一個地點的400000芯片對于推理服務(wù)來說并不實用，對吧？它適用于制造更好的模型，對吧？你希望你的推理更加分散。所以，這是他們的一項巨大投資，雖然從技術(shù)上講并不那么令人印象深刻，但有一些令人印象深刻的地方，我有點一帶而過，它非常便宜且具有成本效益。我認(rèn)為這對亞馬遜來說是一個不錯的舉措。

布拉德：  

也許只是總結(jié)一下，我想稍微轉(zhuǎn)向一下，你知道，你在25年和26年看到的情況，對吧？例如，在過去的30天里，你知道，博通一直在爆炸性上漲，而英偉達(dá)的交易則有所回落。我認(rèn)為在過去30天里，博通和英偉達(dá)之間的差距大約有40%，你知道，博通是定制ASIC的熱門，你知道，人們質(zhì)疑英偉達(dá)是否面臨很多新的競爭，你知道，是否沒有以前那么快地進(jìn)步。看看你的水晶球，25年和26年，你與客戶談?wù)摰氖鞘裁矗阒溃谀闼w的領(lǐng)域中，你認(rèn)為哪些是最被誤解的，最好的想法？

迪倫：

所以我認(rèn)為有幾件事情是，你知道，博通確實有多個定制ASIC的勝利，對吧？它不僅僅是谷歌在這里。Meta是Meta正在加速，主要是用于推薦系統(tǒng)的爐子，但他們的定制芯片會變得更好。

你知道，還有像OpenAI這樣的其他參與者正在制造芯片，對吧？你知道，還有蘋果，他們沒有完全與博通一起制造整個芯片，但其中一小部分將與博通一起制造，對吧？你知道，他們有很多勝利，對吧？現(xiàn)在這些都不會。

它是一個定制的a6。所以就像，就像它可能會失敗，不會很好，就像微軟的那樣因此從未加速，或者它可能會非常好，至少你知道，性價比好，就像亞馬遜的那樣，并且會加速很多，對吧？所以這里有一些風(fēng)險，但博通有那個定制ASIC業(yè)務(wù)，一和二。

非常重要的是，網(wǎng)絡(luò)方面非常重要，對吧？是的，英偉達(dá)正在銷售大量的網(wǎng)絡(luò)設(shè)備，但當(dāng)人們制造自己的ASIC時，他們會做什么，對吧？是的，他們可以去亞馬遜或者不去，但他們也需要將許多這些芯片連接在一起，或者對不起，去博通或者不去，他們可以去Marvell或其他許多競爭對手，比如Al Chipper。你可以看到，你可以...

博通非常適合制造NV交換機的競爭產(chǎn)品

，許多人會認(rèn)為這是英偉達(dá)在硬件方面相對于其他人的最大競爭優(yōu)勢之一。博通正在制造一個他們將推向市場的競爭產(chǎn)品，對吧？多家公司將使用它，不僅僅是AMD會使用那個NV交換機的競爭產(chǎn)品，但他們自己不制造它，因為他們沒有這個技能，對吧？他們將去Rod來獲得它，對吧？

25、26年，AI芯片巨頭最看好誰？

布拉德：

所以，當(dāng)你考慮半導(dǎo)體市場時，給我們做一個判斷，你知道，你有ARM、博通、英偉達(dá)、AMD等等，整個市場在我們進(jìn)入25年和26年時是否會繼續(xù)提升？誰在當(dāng)前水平上最有優(yōu)勢，誰最被高估，誰最被低估？

迪倫：

我認(rèn)為我長期看好博通，但在接下來的六個月里，谷歌TPU的購買會有所放緩，因為他們沒有數(shù)據(jù)中心空間。他們想要更多，他們只是真的沒有數(shù)據(jù)中心空間來放置它們。所以實際上，你知道，我們可以看到他們有點暫停，但人們可能會超越這一點，對吧？

問題是，誰贏得什么定制ASIC交易，對吧？Marvell會贏得未來幾代嗎？博通會贏得未來幾代嗎？這些幾代會有多大，超大規(guī)模公司能否內(nèi)部化越來越多的這些，或者不，對吧？谷歌試圖離開博通不是秘密。他們可能會成功，也可能會失敗，對吧？

布拉德：  

不僅僅是博通。我在談?wù)撚ミ_(dá)和其他所有人，你知道，我們已經(jīng)經(jīng)歷了這兩年的巨大順風(fēng)，對吧？2025年是整合的一年嗎？你認(rèn)為這是該行業(yè)表現(xiàn)良好的又一年嗎？

迪倫：

我只是認(rèn)為，我認(rèn)為超大規(guī)模公司的計劃相當(dāng)明確，他們明年將花費大量資金，對吧？因此，網(wǎng)絡(luò)參與者、ASIC供應(yīng)商、系統(tǒng)供應(yīng)商的生態(tài)系統(tǒng)將表現(xiàn)良好，無論是Marvell還是博通還是AMD還是其他，你知道，一些比其他更好。

2026年，還會繼續(xù)增長嗎？GPU租賃市場會怎樣

迪倫：

人們真正應(yīng)該關(guān)注的問題是2026年，支出是否會繼續(xù)，對吧？我們不是英偉達(dá)的增長率明年將非常驚人，對吧？這將帶動整個組件供應(yīng)鏈上升。它將帶領(lǐng)許多人一起前進(jìn)。但2026年是清算的時候，對吧？但你知道，人們會繼續(xù)這樣花錢嗎？這都指向模型是否會繼續(xù)變得更好？因為如果它們不再繼續(xù)變得更好，事實上，明年會變得更好，那么就會有一個大的，你知道，清理事件，對吧？但那不是明年，對吧？

你知道，我還會說，Neo Cloud市場正在整合，對吧？

迪倫：

我們正在跟蹤、與之交談、看到的80個Neo Clouds，他們有多少GPU，對吧？問題是，如今如果你看看H-100的租賃價格，它們正在暴跌，對吧？不僅僅是在這些Neo Clouds，對吧？你以前必須做四年交易并預(yù)付25%。你簽一個風(fēng)險投資輪次，你會購買一個集群，就這樣，對吧？你租一個集群，對吧？如今，你可以在三個月、六個月的交易中以比以前的四個月或四年、三年交易更好的價格獲得Hopper，對吧？而且，這不僅僅是通過Neo Clouds。

亞馬遜對，你知道，按需GPU的價格現(xiàn)在也在下降。它仍然很貴，相對而言，但價格下降得非常快。80個Neo Clouds不會生存，也許會剩下5到10個。那是因為其中五個是主權(quán)的，對吧？然后其他五個實際上是市場競爭力的。

比爾：

那些可能無法生存的Neo Clouds的行業(yè)AI收入占多大比例？

迪倫：

是的，所以你可以大致說超大規(guī)模公司占收入的50%左右，50%到60%，其余的是Neo Cloud和主權(quán)AI，因為企業(yè)的GPU集群采購仍然相當(dāng)?shù)停罱K對他們來說，只要能夠通過安全，他們就可以將外包給Neo Clouds。對于某些公司，比如Corby，他們可以做到這一點。

布拉德：

有沒有一種情況，到2026年，行業(yè)總體銷量實際上會比2025年下降，或者英偉達(dá)的銷量會從2025年大幅下降？

迪倫：

所以當(dāng)你看到即將到來的定制ASIC設(shè)計以及英偉達(dá)的芯片時，每個芯片的內(nèi)容和收入都在爆炸式增長，制造Blackwell的成本是制造Hopper的兩倍多，對吧？所以英偉達(dá)可以以相同的銷量出貨，仍然大幅增長。

2026年，Meta和微軟的自由現(xiàn)金流接近0

布拉德：

對，而不是單位銷量。有沒有一種情況，到2026年行業(yè)收入會下降，或者英偉達(dá)的收入會下降？

迪倫：  

2026年會以有意義的方式下降嗎？問題是，模型是否會繼續(xù)變得更快、更好，超大規(guī)模公司是否愿意將他們的自由現(xiàn)金流降至0？我認(rèn)為他們會。順便說一下，我認(rèn)為Meta和微軟甚至可能將他們的自由現(xiàn)金流降至接近0并繼續(xù)支出，但這只有在模型繼續(xù)變得更好的情況下才會發(fā)生。

迪倫：

這是A，然后B，我們是否會從人們那里獲得大量資本流入？我們還沒有從中東、新加坡和北歐的主權(quán)財富基金以及加拿大養(yǎng)老基金等獲得，他們可以開出非常大的支票。他們還沒有，但他們可以。如果事情繼續(xù)變得更好，我確實相信OpenAI和XAI以及Anthropic將繼續(xù)籌集越來越多的資金，并繼續(xù)進(jìn)行不僅僅是，嘿，OpenAI的收入現(xiàn)在是80億美元，明年可能會翻倍或更多。那是他們的支出。不，不，不，他們必須籌集更多資金以顯著增加支出，這將使引擎繼續(xù)運轉(zhuǎn)，因為一旦其中一家公司支出，埃隆實際上迫使每個人增加支出，對吧，因為他的集群和他的計劃，因為每個人都在想，我們不能被埃隆超越，我們必須增加支出，對吧？所以這也是一種膽小鬼游戲。哦，他們購買了這個，我們必須匹配他們或者做得更大，因為這是一場規(guī)模游戲。所以，你知道，從某種意義上說，就像帕斯卡的賭注一樣，對吧？

如果我支出不足，那將是史上最糟糕的情況，我將是史上最糟糕的CEO之一，但如果你支出過多，是的，股東會生氣，但沒關(guān)系，對吧？它是200億美元、500億美元。

比爾：

你可以以任何方式描繪這一點，因為如果這成為這樣做的理由，你過度支出的可能性肯定會上升。

迪倫： 

每一個泡沫，我們都會過度支出。

布拉德：

你知道，對我來說，你知道，你說一切都取決于模型的改進(jìn)。我會再進(jìn)一步，你知道，回到薩提亞上周對我們說的話。最終，一切都取決于購買GPU的人產(chǎn)生的收入，對吧？就像他上周說的，我會每年購買一定數(shù)量的GPU，這將與我當(dāng)年或未來幾年能夠產(chǎn)生的收入相關(guān)。所以他們不會遠(yuǎn)遠(yuǎn)超出這些收入支出。所以他正在看什么，你知道，他今年有100億美元的收入。他了解這些推理收入的增長率，他和艾米正在做出一些預(yù)測，看看他們能負(fù)擔(dān)得起多少支出。

全球都在超前透支，是卷也是泡沫

布拉德：  

我認(rèn)為扎克伯格在做同樣的事情。我認(rèn)為桑達(dá)爾也在做同樣的事情。所以如果你假設(shè)他們是在理性行事，那么不僅僅是模型在改進(jìn)，還有使用他們服務(wù)的基礎(chǔ)企業(yè)采用率的提升，以及消費者采用率的提升以及消費者愿意為使用ChatGPT或Claude或其他服務(wù)支付的費用。所以，如果你認(rèn)為基礎(chǔ)設(shè)施支出將以每年30%的速度增長，那么我認(rèn)為你也必須相信基礎(chǔ)的推理收入，對吧？  

布拉德： 

無論是消費者方面還是企業(yè)方面，都將在那個范圍內(nèi)增長。  

迪倫：  

當(dāng)然，肯定有提前支出的成分，對吧？對于在某一時間點的支出與，你知道，我認(rèn)為服務(wù)器未來五年的收入是多少，我認(rèn)為肯定有這方面的因素。但絕對正確的是模型，模型改進(jìn)的全部意義在于什么能產(chǎn)生更多收入，對吧，然后被部署。所以我認(rèn)為我同意這一點，但人們肯定在支出上超前于目前的計劃。  

布拉德：

嗯，這就是讓它變得有趣的地方。你知道，很高興有你在這里。我是說，你知道，作為一個同行分析師，你們做了很多深入的研究。祝賀你們業(yè)務(wù)的成功。我認(rèn)為你們?yōu)檎麄€生態(tài)系統(tǒng)提供了很多重要的信息。  

你知道，關(guān)于“擔(dān)憂之墻”的一件事是我們都在談?wù)摵蛯ふ业臇|西，對吧？泡沫。有時這正是阻止泡沫真正發(fā)生的原因。  

布拉德： 

你知道，作為一個投資者和分析師，我看到的是，確實有人在支出，但他們的收入并不相稱，正如你所說，支出遠(yuǎn)遠(yuǎn)超前。另一方面，坦白說，我們上周從薩查那里聽說了，他說，聽著，我有收入。我已經(jīng)說出了我的收入。我沒有從其他人那里聽到這個，對吧？所以，2025年誰會帶著收入出現(xiàn)將很有趣。我認(rèn)為你已經(jīng)看到一些較小的二三線模型在改變，商業(yè)模式被拋棄，不再參與這里的投資軍備競賽。我認(rèn)為這是創(chuàng)造性毀滅過程的一部分，但很高興有你在這里。  

比爾：  

是的，非常感謝，迪倫。  

布拉德：  

非常感謝你，比爾。很高興在這里見到你，比爾，期待明年再見。  

迪倫：

太棒了，謝謝，好的。  

布拉德：

提醒大家，這只是我們的觀點，不是投資建議。

本文轉(zhuǎn)載自??51CTO技術(shù)棧??，作者：言征