過高的售價成為阻礙HBM（高帶寬內存）普及的攔路虎
譯文IT供應會利用顛覆性的技術和產品對現有的數據中心進行性能改進，高帶寬內存 (HBM)便是其中之一。由于 HBM 比現有的內存芯片技術快得多，且功耗更低，占用空間更小，因此在高性能計算 (HPC) 和 人工智能 (AI)等資源密集型應用程序中將會變成主流技術。
不過，由于HBM的售價仍然較高，且需要重寫某寫應用程序才能被真正采用，因此目前進入主流的應用還需要一段路要走。
HBM 是如何工作的？
HBM 是美國芯片制造商 AMD 和韓國內存芯片供應商 SK Hynix 共同打造的產品，于 2008 年開始研發，2013 年將規范移交給半導體行業的標準機構 JEDEC 聯盟。HBM2標準于2016年獲得批準，HBM3于今年1月正式公布。當前， HBM 存儲芯片的主要制造商是韓國的三星、SK 海力士和美光科技。
與中央處理器 (CPU) 和圖形處理器 (GPU) 性能相比，HBM 旨在解決標準動態隨機存取存儲器 (DRAM) 的滯后性能和功能，最初的解決方案是在CPU和GPU上加入更多的 DRAM，并在主板上安裝更多的雙列直插式內存模塊 (DIMM) 插槽，也稱為 RAM 插槽。
但問題的根源并不在于內存本身，而在于總線。標準 DRAM 總線為 4 至 32 位寬。HBM 總線為 1,024 位寬；根據 AMD 公司副總裁兼產品 CTO 以及 HBM 內存的聯合開發人員 Joe Macri 的說法，其寬度高達 128 倍。
除了增加總線以提高帶寬外，HBM 技術還通過堆疊縮小了內存芯片的尺寸。因此，與最初設計用于替代的圖形雙倍數據速率 (GDDR) 內存相比，HBM 芯片很小。1GB GDDR 內存芯片占用 672 平方毫米，而 1GB HBM僅占 35 平方毫米。
HBM 堆疊高達 12 層，并通過稱為“硅通孔”(TSV) 的互連技術進行連接。TSV 貫穿 HBM 芯片層，就像電梯穿過建筑物一樣，大大減少了數據傳輸需要的時間。
由于 HBM 位于 CPU 或 GPU 旁邊的基板上，因此在 CPU/GPU 和內存之間移動數據所需的功率更少，且CPU 和 HBM 直接相互通信，無需 DIMM 。
Joe Macri表示，HBM設計的想法不是變得非常狹窄和非常快，而是變得非常寬和非常慢。
Nvidia加速計算產品管理高級總監 Paresh Kharya 表示，標準的 DRAM 不太適合 HPC 使用，雖然 DDR 內存可以接近 HBM 內存的性能，但在能效方面必須擁有很多的 DIMM，因此它不是最佳的選擇。
誰在用 HBM ？
第一個將 HBM 用于 HPC 的供應商是 Fujitsu，其基于 Arm 的 A64FX 處理器專為 HPC 任務而設計。由 A64FX 驅動的 Fugaku 超級計算機在 2020 年超級計算機 500 強名單中首次亮相，此后一直保持在該位置。
Nvidia 在其即將推出的Hopper GPU上使用 HBM3 ，而即將推出的Grace CPU使用 LPDDR5X 技術，這是一種 DDR 衍生產品。AMD 在其 Instinct MI250X 加速器（基于其 GPU 技術）上使用 HBM2E，而英特爾計劃在某些 Sapphire Rapids 一代至強服務器處理器以及企業用 Ponte Vecchio GPU 加速器上使用 HBM。
HBM 會被用于主流應用嗎？
前沿的技術進入主流，都需要一定的時間。液體冷卻最初是一個邊緣概念，目的是挖掘 CPU 更多的性能，供游戲玩家使用。目前，每家服務器供應商都為其處理器提供液體冷卻技術，尤其是 AI 處理器。
那么HBM內存能否成為主流？Macri 估計 HBM 和 DDR5 在相同容量下的價格差異超過 2 比 1。換句話說，1 GB 的 HBM 成本是 1 GB DDR5 的兩倍。因此，他的理由是，如果企業要為內存支付溢價，那么他們將希望獲得投資回報。Macri表示，性能是真正提高 TCO 的最佳方式，因此如果企業想要獲得雙倍性能，那么必須將 TCO 提高一倍。
Futurum Research 的首席分析師 Daniel Newman 認為 ，HBM 不會成為主流有兩個原因，首先是成本，如果成本很高，那么它就不會在主流的市場中廣泛使用。此外，發熱量也是阻礙其普及的另一個主要因素，因為除了需要為 CPU 芯片進行冷卻之外，還要為五個或更多內存芯片共享同一個冷卻器，這意味著集成HBM的處理器要消耗大量功率，因此每個使用 HBM 的處理器都必須具有非凡的熱量管理能力。
當然，企業如果想要為 AI 和 HPC 部署加速器，則期望在采購和運營方面的結果和成本相匹配。
HBM 會要求重寫應用程序嗎？
關于HPC 和 AI 是否會自動利用 HBM 內存的全部性能，還是需要重新架構，也是大家普遍關注的問題。IT 專家們表示，這完全取決于您第一次構建應用程序的方式。
Paresh Kharya 表示，應用程序開發人員通常會繞過系統所能提供的限制。因此，有時必須重新設計或更新您的應用程序以考慮可用的新功能。當然，如果現有的應用程序可以解決各種限制，例如內存或延遲，那么開發人員將不得不重新設計或更新他們的應用程序以考慮可用的新功能，因此這通常適用于任何新的計算架構出現。
Macri 表示，如果應用程序受內存帶寬限制，那么它會運行得更快而無需重寫。如果它受內存延遲限制，那么它就不會更快，需要重寫此應用程序以刪除導致其受延遲限制的依賴項。此外，如果系統同時加載了許多應用程序，那么即使應用程序受延遲限制，HBM 系統也可能具有更好的性能，這是因為 HBM 的加載延遲會更低。
HBM 是否需要從 CPU 轉移到 GPU？
還是有一個問題是關于處理器架構。
Objective Analysis 的首席分析師 Jim Handy 指出，HBM 與單指令多數據 (SIMD) 處理器一起使用，這些處理器的編程方式與普通服務器處理器完全不同。X86 和 Arm 不是 SIMD，但 GPU 是。
Jim Handy 表示，任何已經在普通處理器上運行的程序都必須重新配置和重新編譯才能利用 SIMD 架構。因此，改變這種方式的不是 HBM，而是處理器類型。
HBM 技術不斷進步
目前市場上的 HBM 版本是 HBM2E，但在上個月，JEDEC 發布了 HBM3 的最終規格。在相同的工作電壓水平下，HBM3 的運行溫度低于 HBM2E。
HBM3 的每針數據速率也比 HBM2 提高了一倍，數據速率高達 6.4Gb/s。它還將獨立通道的數量從 8 個增加到 16 個，并且還有其他性能增強。
從 Nvidia 的 Hopper GPU 開始，所有主要的內存廠商——SK 海力士、三星和美光等都在開發 HBM3，產品將在今年慢慢開始上市。
目前，HBM 的使用僅僅停留在高性能的使用案例上。
