全球十大AI訓練芯片大盤點
本文經AI新媒體量子位（公眾號ID:QbitAI）授權轉載，轉載請聯(lián)系出處。
AI芯片哪家強？現(xiàn)在，有直接的對比與參考了。
英國一名資深芯片工程師James W. Hanlon，盤點了當前十大AI訓練芯片。
并給出了各個指標的橫向對比，也是目前對AI訓練芯片最新的討論與梳理。
其中，華為昇騰910是中國芯片廠商唯一入選的芯片，其性能如何，也在這一對比中有了展現(xiàn)。
△ *代表推測，†代表單芯片數(shù)據(jù)。
Cerebras Wafer-Scale Engine
這一芯片于今年8月份正式面世，名為“晶圓級引擎”（Cerebras Wafer Scale Engine，簡稱WSE）。
其最大的特征是將邏輯運算、通訊和存儲器集成到單個硅片上，是一種專門用于深度學習的芯片。
一舉創(chuàng)下4項世界紀錄：
- 晶體管數(shù)量最多的運算芯片：總共包含1.2萬億個晶體管。雖然三星曾造出2萬億個晶體管的芯片，卻是用于存儲的eUFS。
- 芯片面積最大：尺寸約20厘米×23厘米，總面積46225平方毫米。
- 片上緩存最大：包含18GB的片上SRAM存儲器。
- 運算核心最多：包含410,592個處理核心
之所以能夠有如此亮眼的數(shù)據(jù)，直接得益于其集成了84個高速互連的芯片，單個芯片在FP32上的峰值性能表現(xiàn)為40 Tera FLOPs，芯片功率達15千瓦，與AI集群相當。
片上緩存也達到了18GB，是GPU緩存的3000倍；可提供每秒9PB的內存帶寬， 比GPU快10,000倍。
晶片規(guī)模集成，并不是一個新的想法，但產量、功率傳輸和熱膨脹相關的問題使其很難商業(yè)化。在這些方面，Cerebras都給出了相應的解決辦法：
- 為了解決缺陷導致良率不高的問題，Cerebras在設計的芯片時候考慮了1~1.5%的冗余，添加了額外的核心，當某個核心出現(xiàn)問題時將其屏蔽不用，因此有雜質不會導致整個芯片報廢。
- Cerebras與臺積電合作發(fā)明了新技術，來處理具有萬億加晶體管芯片的刻蝕和通訊問題。
- 在芯片上方安裝了一塊“冷卻板”，使用多個垂直安裝的水管直接冷卻芯片。
Cerebras公司由Sean Lie（首席硬件架構師）、Andrew Feldman（首席執(zhí)行官）等人于2016年創(chuàng)立。后者曾創(chuàng)建微型服務器公司SeaMicro，并以3.34億美元的價格出售給AMD。
該公司在加州有194名員工，其中包括173名工程師，迄今為止已經從Benchmark等風投機構獲得了1.12億美元的投資。
拓展閱讀：
史上最大AI芯片誕生：462平方厘米、40萬核心、1.2萬億晶體管，創(chuàng)下4項世界紀錄
Google TPU（v1、v2、v3）
Google TPU系列芯片正式發(fā)布于2016年，第一代芯片TPU v1只用于推理，而且只支持整數(shù)運算。
通過在PCIe-3之間發(fā)送指令來執(zhí)行矩陣乘法和應用激活函數(shù)，從而為主機CPU提供加速，節(jié)省了大量的設計和驗證時間。其主要數(shù)據(jù)為：
- 芯片面積331平方毫米，28nm制程
- 頻率為700 MHz，功耗28-40W
- 片上存儲為28 MB SRAM：24MB 用于激活，4MB 用于累加器
- 芯片面積比例：35%用于內存，24%用于矩陣乘法單元，剩下的41%面積用于邏輯。
- 256x256x8b收縮矩陣乘法單元(64K MACs/cycle)
- Int8和 INT16算法(峰值分別為92和23 TOPs/s)
IO數(shù)據(jù)：
- 可以通過兩個接口訪問8 GB DDR3-2133 DRAM，速度為34 GB/s
- PCIe-3x16 (14 GBps)
2017年5月，Google TPU v2發(fā)布，改進了TPU v1的浮點運算能力，并增強了其內存容量、帶寬以及HBM 集成內存，不僅能夠用于推理，也能夠用于訓練。其單個芯片的數(shù)據(jù)如下：
- 20nm制程，功耗在200-250W（推測）
- BFloat16上性能表現(xiàn)為45 TFLOPs，也支持 FP32
- 具有標量和矩陣單元的雙核
- 集成4塊芯片后，峰值性能為180 TFLOPs
單核數(shù)據(jù)：
- 128x128x32b收縮矩陣單元(MXU)
- 8GB專用HBM，接入帶寬300 GBps
- BFloat16上的最大吞吐量為22.5 TFLOPs
IO數(shù)據(jù)：
- 16Gb HBM集成內存，600 GBps帶寬(推測)
- PCIe-3 x8 (8 GBps)
Google TPU v2發(fā)布一年之后，Google再度發(fā)布新版芯片——TPU v3。
但關于TPU v3的細節(jié)很少，很可能只是對TPU v2一個漸進式改版，性能表現(xiàn)翻倍，增加了HBM2內存使容量和帶寬翻倍。其單個芯片的數(shù)據(jù)如下：
- 16nm或12nm制程，功耗估計在200W
- BFloat16的性能為105 TFLOPs，可能是MXUs的2倍到4倍
- 每個MXU都能訪問8GB的專用內存
- 集成4個芯片后，峰值性能420 TFLOPs
IO數(shù)據(jù)：
- 32GB的HBM2集成內存，帶寬為1200GBps (推測)
- PCIe-3 x8 (8 GBps)（推測）
拓展閱讀：
想了解TPU 3.0？Jeff Dean推薦看看這段視頻
Graphcore IPU
Graphcore成立于成立于2016年，不僅備受資本和業(yè)界巨頭的青睞，還頗受業(yè)內大佬的認可。
2018年12月，宣布完成2億美元的D輪融資，估值17億美元。投資方有寶馬、微軟等業(yè)界巨頭，還有著名的風投公司Sofina、Atomico等。
AI巨頭Hinton、DeepMind創(chuàng)始人哈薩比斯，都直接表達了贊美。
Graphcore IPU是這家公司的明星產品，其架構與大量具有小內存的簡單處理器高度并行，通過一個高帶寬的“交換”互連連接在一起。
其架構在一個大容量同步并行(BSP)模型下運行，程序的執(zhí)行按照一系列計算和交換階段進行。同步用于確保所有進程準備好開始交換。
BSP模型是一個強大的編程抽象，用于排除并發(fā)性風險，并且BSP的執(zhí)行，允許計算和交換階段充分利用芯片的能源，從而更好地控制功耗。可以通過鏈接10個IPU間鏈路來建立更大的IPU芯片系統(tǒng)。其核心數(shù)據(jù)如下：
- 16nm制程，236億個晶體管，芯片面積大約為800平方毫米，功耗為150W，PCIe卡為300 W
- 1216個處理器，在FP32累加的情況下，F(xiàn)P16算法峰值達到125 TFLOPs
- 分布在處理器核心之間有300 MB的片上內存，提供45 TBps的總訪問帶寬
- 所有的模型狀態(tài)保存在芯片上，沒有直接連接DRAM
IO數(shù)據(jù)：
- 2x PCIe-4的主機傳輸鏈接
- 10倍的卡間IPU鏈接
- 共384GBps的傳輸帶寬
單核數(shù)據(jù)：
- 混合精度浮點隨機算法
- 最多運行六個線程
拓展閱讀：
成立兩年估值17億美元，這家Hinton點贊的AI芯片公司獲寶馬微軟投資
Habana Labs Gaudi
Habana Labs同樣成立于2016年，是一家以色列AI芯片公司。
2018年11月，完成7500萬美元的B輪募資，總募資約1.2億美元。
Gaudi芯片于今年6月亮相，直接對標英偉達的V100。
其整體的設計，與GPU也有相似之處，尤其是更多的SIMD并行性和HBM2內存。
芯片集成了10個100G 以太網鏈路，支持遠程直接內存訪問(RDMA)。與英偉達的NVLink或OpenCAPI相比，這種數(shù)據(jù)傳輸功能允許使用商用網絡設備構建大型系統(tǒng)。其核心數(shù)據(jù)如下：
- TSMC 16 nm制程（CoWoS工藝），芯片尺寸大約為500平方毫米
- 異構架構：GEMM操作引擎、8個張量處理核(TPCs)
- SRAM內存共享
- PCIe卡功耗為200W，夾層卡為300W
- 片上內存未知
TPC核心數(shù)據(jù)：
- VLIW SIMD并行性和一個本地SRAM內存
- 支持混合精度運算：FP32、 BF16，以及整數(shù)格式運算(INT32、INT16、INT8、UINT32、UINT8)
- 隨機數(shù)生成、超越函數(shù)：Sigmoid、Tanh、GeLU
IO數(shù)據(jù)：
- 4x 提供32 GB的HBM2-2000 DRAM 堆棧， 整體達1 TBps
- 芯片上集成10x 100GbE 接口，支持融合以太網上的 RDMA (RoCE v2)
- PCIe-4 x16主機接口
Huawei Ascend 910
華為昇騰910，同樣直接對標英偉達V100，于今年8月份正式商用，號稱業(yè)內算力最強的AI訓練芯片。主打深度學習的訓練場景，主要客戶面向AI數(shù)據(jù)科學家和工程師。
其核心數(shù)據(jù)為：
- 7nm+EUV工藝，456平方毫米
- 集成4個96平方毫米的 HBM2棧和 Nimbus IO處理器芯片
- 32個達芬奇內核
- FP16性能峰值256TFLOPs (32x4096x2) ，是 INT8的兩倍
- 32 MB的片上 SRAM (L2緩存)
- 功耗350W
互聯(lián)和IO數(shù)據(jù)：
- 內核在6 x 4的2d網格封包交換網路中相互連接，每個內核提供128 GBps 的雙向帶寬
- 4 TBps的L2緩存訪問
- 1.2 TBps HBM2接入帶寬
- 3x30GBps 芯片內部 IOs
- 2 x 25 GBps RoCE 網絡接口
單個達芬奇內核數(shù)據(jù)：
- 3D 16x16x16矩陣乘法單元，提供4,096個 FP16 MACs 和8,192個 INT8 MACs
- 針對 FP32(x64)、 FP16(x128)和 INT8(x256)的2,048位 SIMD 向量運算
- 支持標量操作
拓展閱讀：
華為算力最強AI芯片商用：2倍于英偉達V100！開源AI框架，對標TensorFlow和PyTorch
Intel NNP-T
這是Xeon Phi之后，英特爾再次進軍AI訓練芯片，歷時4年，壕購4家創(chuàng)業(yè)公司，花費超過5億美元，在今年8月份發(fā)布。
神經網絡訓練處理器NNP-T中的“T”指Train，也就是說這款芯片用于AI推理，處理器代號為Spring Crest。
NNP-T將由英特爾的競爭對手臺積電（TSMC）制造，采用16nm FF+工藝。
NNP-T有270億個16nm晶體管，硅片面積680平方毫米，60mmx60mm 2.5D封裝，包含24個張量處理器組成的網格。
核心頻率最高可達1.1GHz，60MB片上存儲器，4個8GB的HBM2-2000內存，它使用x16 PCIe 4接口，TDP為150~250W。
每個張量處理單元都有一個微控制器，用于指導是數(shù)學協(xié)處理器的運算，還可以通過定制的微控制器指令進行擴展。
NNP-T支持3大主流機器學習框架：TensorFlow、PyTorch、PaddlePaddle，還支持C++ 深度學習軟件庫、編譯器nGraph。
在算力方面，芯片最高可以達到每秒119萬億次操作（119TOPS），但是英特爾并未透露是在INT8還是INT4上的算力。
作為對比，英偉達Tesla T4在INT8上算力為130TOPS，在INT4上為260TOPS。
拓展閱讀：
英特爾首款AI芯片終于發(fā)布：訓練推理兩用，歷時4年花費5億美元買來4家公司
英偉達Volta架構芯片
英偉達Volta，2017年5月公布，從 Pascal 架構中引入了張量核、 HBM2和 NVLink 2.0。
英偉達V100芯片就是基于此架構的首款GPU芯片，其核心數(shù)據(jù)為：
- TSMC 12nm FFN工藝，211億個晶體管，面積為815平方毫米
- 功耗為300W，6 MB L2緩存
- 84個SM，每個包含：64個 FP32 CUDA 核，32個 FP64 CUDA 核和8個張量核(5376個 FP32核，2688個 FP64核，672個 TCs)。
- 單個Tensor Core每時鐘執(zhí)行64個FMA操作（總共128 FLOPS），每個SM具有8個這樣的內核，每個SM每個時鐘1024個FLOPS。
- 相比之下，即使采用純FP16操作，SM中的標準CUDA內核只能在每個時鐘產生256個FLOPS。
- 每個SM，128 KB L1數(shù)據(jù)緩存 / 共享內存和4個16K 32位寄存器。
IO數(shù)據(jù)：
- 32 GB HBM2 DRAM，900 GBps帶寬
- 300 GBps的NVLink 2.0
英偉達Turing架構芯片
Turing架構是對Volta架構的升級，于2018年9月發(fā)布，但 CUDA 和張量核更少。
因此，它的尺寸更小，功率也更低。除了機器學習任務，它還被設計用來執(zhí)行實時射線追蹤。其核心數(shù)據(jù)為：
- TSMC 12nm FFN工藝，面積為754平方米，186億個晶體管，功耗260W
- 72個SM，每個包含：64個 FP32核，64個 INT32核，8個張量核(4608個 FP32核，4608個 INT32核和576個 TCs)
- 帶有boost時鐘的峰值性能：FP32上為16.3 TFLOPs、FP16上為130.5 TFLOPs、INT8上為261 TFLOPs、INT4上為522 TFLOPs
- 片上內存為24.5 MB，在6MB的 L2緩存和256KB 的 SM 寄存器文件之間
- 基準時鐘為1455 MHz
IO數(shù)據(jù)：
- 12x32位 GDDR6存儲器，提供672 GBps 聚合帶寬
- 2x NVLink x8鏈接，每個鏈接提供多達26 GBps 的雙向速度
參考來源：
https://www.jameswhanlon.com/new-chips-for-machine-intelligence.html
