AMD放大！蘇媽甩出最強AI芯片叫板老黃，可跑800億參數(shù)大模型
AMD放大了！
在周二的發(fā)布會上，蘇媽直接宣布了最新的一款A(yù)I芯片——GPU MI300X，直接叫板英偉達。
AMD本周二表示，將于今年晚些時候開始向部分客戶發(fā)貨。
要知道，Nvidia目前在AI芯片市場中牢牢占據(jù)著主導(dǎo)地位。
MI300X
AMD公司的CEO蘇媽Lisa Su周二在舊金山發(fā)布了一款芯片——GPU MI300X。
據(jù)悉，這是該公司AI計算戰(zhàn)略的核心。
它能為生成性AI（LLM）提供巨大的內(nèi)存和數(shù)據(jù)吞吐量。
Instinct MI300X是之前發(fā)布的MI300A的后續(xù)產(chǎn)品。該芯片實際上是多個小芯片的組合，這些獨立的芯片通過共享內(nèi)存和網(wǎng)絡(luò)鏈接被連接到一個單一的封裝中。
蘇媽將這款芯片稱為生成式AI加速器，其中包含的GPU芯片是專門為AI和HPC（高性能計算）量身打造的。
MI300X是該產(chǎn)品的「純GPU」版本。MI300A是三個Zen4 CPU芯片與多個GPU芯片的組合。
但在MI300X中，CPU被換成了兩個額外的CDNA 3芯片組。
此外，MI300X將晶體管數(shù)量從1460億個增加到1530億個，共享DRAM內(nèi)存從MI300A的128千兆字節(jié)提升到了192千兆字節(jié)，內(nèi)存帶寬從每秒800千兆字節(jié)提升到了每秒5.2兆字節(jié)。
蘇媽在演講中反復(fù)多次強調(diào)了這款芯片所具有的非常、非常重要的戰(zhàn)略意義。
「因為它能夠混合和匹配不同種類的計算，替換CPU或GPU。」
蘇馬表示，MI300X將提供2.4倍于Nvidia H100 Hopper GPU的內(nèi)存密度，以及1.6倍的內(nèi)存帶寬。
生成式AI以及LLM的格局已經(jīng)改變，對更多計算的需求正以指數(shù)的形式增長，無論是訓(xùn)練模型還是進行推理。
為了證明對強大計算的需求，蘇媽展示了在目前最流行的LLM上工作的部分，即開源的Falcon-40B。
語言模型需要更多的計算，因為它們是用越來越多的所謂的神經(jīng)網(wǎng)絡(luò)參數(shù)建立的。
她表示，MI300X是AMD第一款功能強大的芯片，可以流暢地在內(nèi)存中運行大規(guī)模的神經(jīng)網(wǎng)絡(luò)，而不是必須在外部內(nèi)存中來回移動數(shù)據(jù)。
蘇媽現(xiàn)場演示了MI300X使用Falcon-40B創(chuàng)建了一首有關(guān)舊金山的詩篇。
蘇媽表示，「一個MI300X芯片可以在內(nèi)存中運行高達約800億個參數(shù)的模型。」
「當你將MI300X與競爭對手進行比較時，你就能發(fā)現(xiàn)，MI300X提供了2.4倍的內(nèi)存，和1.6倍的內(nèi)存帶寬，有了所有這些額外的內(nèi)存容量，我們實際上對LLM是有巨大優(yōu)勢的，因為我們可以直接在內(nèi)存中運行更大的模型。」
這意味著，對于最大的模型，AMD減少了所需要的GPU數(shù)量，大大加快了性能，特別是推理的速度，同時也降低了總成本。
蘇媽在演講中毫不掩飾對這款芯片的喜愛。
AMD Instinct
為了與Nvidia的DGX系統(tǒng)競爭，蘇媽發(fā)布了一個人工智能計算機系列，即AMD Instinct平臺。
這個平臺集成了8個MI300X，可提供1.5TB的HBM3內(nèi)存。
蘇媽表示，對于客戶來說，他們可以在一個行業(yè)標準的平臺上使用所有這些AI計算能力的內(nèi)存，直接放入他們現(xiàn)有的設(shè)施。
與MI300X不同的是，現(xiàn)有的MI300A只是一個GPU，它的對手是Nvidia的Grace Hopper組合芯片，它使用Nvidia的Grace CPU和它的Hopper GPU。
Su指出，MI300A正被內(nèi)置到能源部的勞倫斯-利弗莫爾國家實驗室在建的El Capitan超算中。
MI300A目前正作為樣品展示給AMD客戶，MI300X將在今年第三季度開始向客戶提供樣品。
蘇媽表示，兩者都將在第四季度進行批量生產(chǎn)。
和HuggingFace合作
同時，HuggingFace也在今天宣布，AMD已經(jīng)正式加入其硬件合作伙伴計劃。
HuggingFace的CEO Clement Delangue在舊金山舉行的AMD數(shù)據(jù)中心和人工智能技術(shù)首發(fā)式上發(fā)表了主題演講，以啟動這一令人興奮的新合作。
AMD和Hugging Face合作，意味著將在AMD的CPU和GPU上提供SOTA級別的transformer性能。
該合作對整個Hugging Face社區(qū)來說都是個好消息，他們將很快從最新的AMD平臺的訓(xùn)練和推理中受益。
在GPU方面，AMD和Hugging Face將首先在企業(yè)級Instinct MI2xx和MI3xx系列上合作，然后在客戶級Radeon Navi3x系列上合作。
在最初的測試中，AMD最近報告，MI250訓(xùn)練BERT-Large的速度比其競爭對手快1.2倍，訓(xùn)練GPT2-Large快1.4倍。
在CPU方面，兩家公司將致力于為客戶端Ryzen和服務(wù)器EPYC CPU優(yōu)化推理。
最后，他們的合作將包括性能強大的Alveo V70 AI加速器。
HuggingFace計劃支持最先進的自然語言處理、計算機視覺和語音的轉(zhuǎn)化器架構(gòu)，如BERT、DistilBERT、ROBERTA、Vision Transformer、CLIP和Wav2Vec2。
當然，生成式AI模型也將可用（例如，GPT2、GPT-NeoX、T5、OPT、LLaMA），包括HuggingFace自己的BLOOM和StarCoder模型。
最后，HuggingFace還將支持更多傳統(tǒng)的計算機視覺模型，如ResNet和ResNext，以及深度學(xué)習(xí)推薦模型，這對HuggingFace來說還是頭一次。
未來，合作的重點將放在確保對HuggingFace社區(qū)最重要的模型能在AMD的平臺上開箱即用。
HuggingFace將與AMD工程團隊密切合作，優(yōu)化關(guān)鍵模型，以提供最佳性能，這得益于最新的AMD硬件和軟件功能。
HuggingFace將把AMD的ROCm SDK無縫集成到HuggingFace的開源庫中，首先是transformer庫。
參考資料：
https://www.cnbc.com/2023/06/13/amd-reveals-new-ai-chip-to-challenge-nvidias-dominance.html
