OpenAI自研芯片內(nèi)幕曝光!18個(gè)月前開始用AI優(yōu)化芯片設(shè)計(jì),比人類工程師更快
“用模型優(yōu)化芯片設(shè)計(jì),比人類工程師更快。”
“合作水到渠成,相關(guān)項(xiàng)目已經(jīng)持續(xù)了約18個(gè)月……”
好家伙,就在OpenAI博通官宣完合作之后,雙方頭頭兒開始齊聚一堂親口爆料了!
OpenAI這邊派出了CEO奧特曼(右2)和總裁Greg Brockman(右1),博通則派出了總裁兼CEO Hock Tan(C位)以及半導(dǎo)體解決方案事業(yè)群總裁Charlie Kawwas(左2)。
圖片
人一多之后,什么合作契機(jī)、合作細(xì)節(jié)等等,幾乎全都被搶著透了個(gè)干凈。
不過在這之前,還是先來回顧一下雙方剛剛達(dá)成的合作內(nèi)容吧。
合作部署10GW規(guī)模芯片
根據(jù)公告,OpenAI與半導(dǎo)體巨頭博通達(dá)成的合作如下——
雙方將共同部署由OpenAI設(shè)計(jì)的10GW規(guī)模的AI加速器。預(yù)計(jì)博通會(huì)從2026年下半年開始部署配備AI加速器和網(wǎng)絡(luò)系統(tǒng)的機(jī)架,并于2029年底前完成全部部署。
OpenAI將負(fù)責(zé)設(shè)計(jì)這些加速器與系統(tǒng),而博通則與其合作開發(fā)并投入部署。
通過設(shè)計(jì)自己的芯片與系統(tǒng),OpenAI可將其在前沿模型與產(chǎn)品開發(fā)中所獲得的經(jīng)驗(yàn)“直接內(nèi)嵌”于硬件之中,解鎖新的能力與智慧水平。
這些機(jī)架將完全采用博通的以太網(wǎng)及其他互聯(lián)解決方案,用以滿足全球?qū)I的激增需求,并在OpenAI的設(shè)施以及合作伙伴的數(shù)據(jù)中心內(nèi)部署。

10GW規(guī)模啥概念?
通常而言,傳統(tǒng)超算中心的功率大概在幾百M(fèi)W(兆瓦),而10GW=10000MW。
更大白話一點(diǎn),10GW的電力足以同時(shí)點(diǎn)亮約1億個(gè)100瓦燈泡。
OpenAI CEO奧特曼在公告中表示,“與博通的合作是構(gòu)建解鎖AI潛能所需基礎(chǔ)設(shè)施的關(guān)鍵一步,有助于為人類與企業(yè)帶來真正的益處”。
博通總裁兼CEO Hock Tan則認(rèn)為,“博通與OpenAI的合作標(biāo)志著在追求通用人工智能道路上的一個(gè)關(guān)鍵時(shí)刻。OpenAI自ChatGPT問世以來一直處于AI革命的前沿,我們非常高興能與其共同開發(fā)并部署10GW的下一代加速器與網(wǎng)絡(luò)系統(tǒng),為AI的未來奠定基礎(chǔ)”。
OpenAI總裁Greg Brockman強(qiáng)調(diào)道,“通過制造我們自己的芯片,我們可以將創(chuàng)造前沿模型與產(chǎn)品的經(jīng)驗(yàn)直接嵌入硬件,從而解鎖新的能力與智能水平”。
博通半導(dǎo)體解決方案事業(yè)群總裁Charlie Kawwas宣稱,“我們與OpenAI的合作將推動(dòng)AI突破,并使其潛力更快實(shí)現(xiàn)。定制加速器非常適合與標(biāo)準(zhǔn)化以太網(wǎng)的擴(kuò)展互聯(lián)解決方案結(jié)合應(yīng)用,以在成本和性能上優(yōu)化下一代AI基礎(chǔ)設(shè)施。機(jī)架系統(tǒng)將包括博通全套以太網(wǎng)、PCIe和光互聯(lián)連接方案,重申我們在AI基建領(lǐng)域的方案領(lǐng)導(dǎo)地位”。
總之,對博通而言,這次合作進(jìn)一步凸顯了定制加速器的重要性,以及以太網(wǎng)作為AI數(shù)據(jù)中心中縱向與橫向擴(kuò)展網(wǎng)絡(luò)核心技術(shù)的戰(zhàn)略地位。
而對OpenAI來說,則有助于進(jìn)一步緩解算力緊張問題,畢竟ChatGPT每周有近8億活躍用戶。
按網(wǎng)友的話來說就是,找老黃買卡還要排隊(duì),心急的OpenAI這是決定自己下場了。

更多內(nèi)幕曝光
OK,聽完了各方場面話,咱們再來從幾位的聊天中扒扒細(xì)節(jié)。
過程中主持人化身嘴替,問出了兩個(gè)關(guān)鍵問題:
- 為什么OpenAI要現(xiàn)在自研芯片?
- 自研芯片之后會(huì)發(fā)生什么?
對于問題一,OpenAI總裁Greg Brockman總結(jié)了這樣幾點(diǎn)理由:1) 對工作負(fù)載的深刻理解以及垂直整合的必要性;2)規(guī)模帶來的歷史發(fā)現(xiàn);3)外部合作受挫與實(shí)現(xiàn)愿景的必要性。
具體而言,Greg透露其實(shí)雙方已經(jīng)合作了約18個(gè)月,而且進(jìn)展很快。之所以決定自研芯片,一大理由是他們對工作負(fù)載(workload)有了深刻理解。
我們與生態(tài)系統(tǒng)中的眾多合作伙伴緊密協(xié)作。市場上有眾多出色的芯片,每款芯片都有其獨(dú)特的優(yōu)勢。因此,我們一直在尋找那些我們認(rèn)為尚未得到充分服務(wù)的特定工作負(fù)載。
我們思考如何構(gòu)建能夠加速這些可能性的解決方案。所以,我認(rèn)為我們擁有的這種能力——即能夠?yàn)槲覀冾A(yù)見到但難以通過其他合作伙伴實(shí)現(xiàn)的需求進(jìn)行完整的垂直整合——是一個(gè)非常明確的項(xiàng)目應(yīng)用場景。
劃重點(diǎn),通過垂直整合來滿足現(xiàn)有芯片無法覆蓋到的特定計(jì)算任務(wù)或工作負(fù)載。
這也是奧特曼最近一再強(qiáng)調(diào)的點(diǎn)。他在a16z的一場個(gè)人采訪中表示,曾經(jīng)自己一直反對垂直整合,但現(xiàn)在認(rèn)為自己錯(cuò)了。
當(dāng)時(shí)他解釋說,雖然經(jīng)濟(jì)理論傾向于公司只做一件事,但在OpenAI的案例中,為了實(shí)現(xiàn)使命,他們必須做比原先想象中更多的事情。
他還引用了iPhone的例子,稱其是科技行業(yè)最令人難以置信的產(chǎn)品,并指出它是極其垂直整合的。
而自研芯片,無疑也是讓OpenAI走向垂直整合的關(guān)鍵一環(huán)。

此外,Greg還談到了規(guī)模的效力。
當(dāng)我們創(chuàng)立OpenAI時(shí),并沒有把太多精力放在計(jì)算上。因?yàn)楫?dāng)時(shí)認(rèn)為通往AGI的道路主要在于想法,主要在于嘗試和其他東西……不過大約兩年后,在2017年,我們發(fā)現(xiàn)從規(guī)模中獲得了最好的結(jié)果。
當(dāng)時(shí)他們正嘗試在視頻游戲《Dota 2》背景下擴(kuò)展強(qiáng)化學(xué)習(xí),結(jié)果無意中發(fā)現(xiàn)了規(guī)模擴(kuò)展的巨大作用,于是開始將其作用于整個(gè)AI系統(tǒng)。
所以,自研芯片也是實(shí)現(xiàn)算力不斷擴(kuò)展的重要舉措。
而且從以往經(jīng)歷來看,沒有芯片就沒有話語權(quán)。Greg透露一路遇到了很多芯片公司,當(dāng)他們反饋“這是我們認(rèn)為事情將要發(fā)展的方向、模型需要是這種形狀的”,結(jié)果根本沒人聽。
處于這樣一種境地非常令人沮喪,所以未來走向很明確了。
至于自研芯片后會(huì)發(fā)生什么,奧特曼認(rèn)為通過優(yōu)化整個(gè)堆棧,他們將能夠?qū)崿F(xiàn)巨大的效率提升,并能夠從每瓦特中榨取出更多的智能。
這種效率提升將直接轉(zhuǎn)化為更好的性能、更快的模型、更便宜的模型。
這里他還有一個(gè)和老黃不謀而合的觀點(diǎn)——人們總是想要更多,你只需要給他就行。
另外值得一提的是,Greg也爆料稱,AI在自研芯片過程中發(fā)揮了大作用——已經(jīng)在用模型優(yōu)化芯片設(shè)計(jì),而且比人類工程師更快(連用了“非常有趣”這樣的表述)。
你拿出人類已經(jīng)優(yōu)化過的組件,然后投入計(jì)算,模型就會(huì)提出自己的優(yōu)化方案,這非常有趣。
我們現(xiàn)在處于這樣一個(gè)階段,我不認(rèn)為我們擁有的任何優(yōu)化方案是人類設(shè)計(jì)師想不到的。
通常我們的專家稍后會(huì)看一眼,然后說,‘是的,這在我的清單上’,但這可能是‘20件事之一,他們需要再花一個(gè)月才能實(shí)現(xiàn)’。這確實(shí)非常、非常有趣。

One More Thing
其實(shí)上個(gè)月中旬,OpenAI也和英偉達(dá)達(dá)成了類似合作。
規(guī)模也是一樣,采用英偉達(dá)系統(tǒng),OpenAI將部署至少10GW的AI集群(大約數(shù)百萬塊英偉達(dá)GPU),時(shí)間大約也是在2026年下半年開始。
為支持該計(jì)劃,英偉達(dá)還計(jì)劃向OpenAI投資高達(dá)1000億美元。

再后來,OpenAI還拉上了AMD,規(guī)模大約6GW。

直到今天,博通也加入了OpenAI的這一“朋友圈”。

總之,為了突破算力瓶頸,OpenAI走“自研+合作”的路線已經(jīng)相當(dāng)明確了。而且比想象中更早,OpenAI其實(shí)已經(jīng)潛心布局了近兩年。
據(jù)OpenAI芯片設(shè)計(jì)方面的員工透露,OpenAI過去18個(gè)月一直在研發(fā)芯片,并且自o1開啟模型推理浪潮后,他們從幾個(gè)月前也開始專門設(shè)計(jì)一款推理芯片。
現(xiàn)在,距離我認(rèn)為的任何首次推出的芯片中,最快、最大規(guī)模量產(chǎn)的還有9個(gè)月。

不知道OpenAI第一款自研量產(chǎn)芯片表現(xiàn)如何?一把子期待住了~
參考鏈接:
[1]https://www.youtube.com/watch?v=qqAbVTFnfk8
[2]https://x.com/itsclivetime/status/1977772728850817263
[3]https://openai.com/index/openai-and-broadcom-announce-strategic-collaboration/































