蘇媽?xiě)?zhàn)老黃！官宣AMD大模型專(zhuān)用卡，對(duì)標(biāo)英偉達(dá)H100，可跑更大模型
蘇媽發(fā)布最新AMD加速卡，直接宣戰(zhàn)英偉達(dá)！
沒(méi)錯(cuò)，就在AMD推出最新加速卡Instinct MI300X的現(xiàn)場(chǎng)，PPT上專(zhuān)門(mén)打出一行字——
大語(yǔ)言模型專(zhuān)用。
AMD表示，MI300X的高帶寬內(nèi)存（HBM）密度，最高可達(dá)英偉達(dá)H100的2.4倍，高帶寬內(nèi)存帶寬最高可達(dá)H100的1.6倍，顯然MI300X能運(yùn)行比H100更大的AI模型。
MI300X所在的MI300系列，是AMD為AI和高性能計(jì)算（HPC）打造的一系列最新APU加速卡。
其中，MI300A是“基礎(chǔ)款”，MI300X則是硬件性能更高的“大模型優(yōu)化款”。
蘇媽還現(xiàn)場(chǎng)演繹MI300X的計(jì)算速度，利用抱抱臉的400億參數(shù)大模型快速寫(xiě)了首小詩(shī)：
遺憾的是，市場(chǎng)對(duì)AMD的新卡好像不太買(mǎi)賬。
就在這次AMD發(fā)布會(huì)期間，市場(chǎng)股價(jià)一路下跌，開(kāi)完后甚至跌了3.61%……相比之下，英偉達(dá)股價(jià)還上漲了一波。
不過(guò)仍有網(wǎng)友表示驚喜：
盡管股價(jià)波動(dòng)，這可能是第一次有這么大的模型（400億參數(shù)）在單卡GPU上運(yùn)行。
所以，AMD最新MI300系列的參數(shù)細(xì)節(jié)如何？
“LLM專(zhuān)用加速卡”
先來(lái)看看Instinct MI300A的情況。
據(jù)蘇媽介紹，MI300A應(yīng)該是首個(gè)針對(duì)AI和高性能計(jì)算（HPC）推出的APU。
它一共有13個(gè)小芯片，包含9個(gè)5nm制程GPU+CPU，以及4個(gè)6nm制程的小芯片（base dies），包含1460億個(gè)晶體管，其中有24個(gè)Zen 4 CPU核心，1個(gè)CDNA 3圖形引擎，128GB的HBM3內(nèi)存。
相比MI250，MI300的性能提升了8倍，效率提升了5倍。
再來(lái)看看Instinct MI300X。
這是針對(duì)大語(yǔ)言模型（LLM）專(zhuān)用的卡，包含12個(gè)小芯片，1530億個(gè)晶體管，192GB的HBM3內(nèi)存，內(nèi)存帶寬達(dá)到5.2TB/s，Infinity Fabric帶寬達(dá)到896GB/s。
蘇媽還現(xiàn)場(chǎng)展示了MI300X運(yùn)行包括GPT-3、PaLM2等大模型的優(yōu)勢(shì)：
在發(fā)布MI300X的現(xiàn)場(chǎng)，蘇媽還現(xiàn)場(chǎng)運(yùn)行了Hugging Face 的falcon-40b-instruct模型，寫(xiě)了首關(guān)于舊金山（這次AMD發(fā)布會(huì)地址）的小詩(shī)。
除此之外，AMD這次發(fā)布會(huì)還發(fā)布了第四代霄龍（EPYC）處理器，包括亞馬遜、微軟和Meta都已經(jīng)在著手準(zhǔn)備用上新品了。
預(yù)計(jì)今年Q4推出
除了最新推出的霄龍?zhí)幚砥?、MI300A和MI300X以外，AMD還在發(fā)布會(huì)上宣布了一個(gè)AMD Instinct計(jì)算平臺(tái)。
這個(gè)平臺(tái)集成了8個(gè)MI300X，可提供1.5TB的HBM3內(nèi)存。
那么，這些新卡和新平臺(tái)，預(yù)計(jì)什么時(shí)候能出貨？
目前來(lái)看，MI300A已經(jīng)出樣，估計(jì)不久就能買(mǎi)上；大模型專(zhuān)用卡MI300X、以及集成8個(gè)MI300X的AMD Instinct計(jì)算平臺(tái)，預(yù)計(jì)今年第三季度出樣，第四季度就能推出。
但這幾年來(lái)，相比英偉達(dá)一直在AI上面有大動(dòng)作，AMD的行動(dòng)卻好像有點(diǎn)遲緩。
就在這次發(fā)布會(huì)前幾天，DeepBrain AI的CEO Eric Jang發(fā)推表示，感覺(jué)AMD這幾年讓他很失望，5年來(lái)沒(méi)什么變化：
蘇媽和她的所有高管，至少該開(kāi)始嘗試用AMD卡跑一些大模型，看看能不能達(dá)到SOTA。
Eric Jang指出，AMD和英偉達(dá)已經(jīng)存在一定差距。
如果AMD不努力跟上，差距只會(huì)越拉越大：
老黃（Jensen）很硬核，他不僅會(huì)親自回應(yīng)客戶(hù)并在12小時(shí)內(nèi)解決問(wèn)題，手臂上還紋著英偉達(dá)的LOGO。
相比之下，AMD至少需要加倍努力，否則它將永遠(yuǎn)追不上英偉達(dá)。
好消息是，AMD至少開(kāi)始行動(dòng)了。這次發(fā)布會(huì)結(jié)束，就有網(wǎng)友表示：
至少，現(xiàn)在終于能看到AMD和NVIDIA正面打擂臺(tái)了。
你看好AMD的新卡嗎？
參考鏈接：
[1]https://www.anandtech.com/show/18915/amd-expands-mi300-family-with-mi300x-gpu-only-192gb-memory
[2]https://www.tomshardware.com/news/amd-expands-mi300-with-gpu-only-model-eight-gpu-platform-with-15tb-of-hbm3
[3]https://twitter.com/ericjang11/status/1665618676354109440
