H100再次在MLPerf中刷新了記錄！

英偉達超算NVIDIA Eos在GPT-3模型的基準測試中，只用了3.9分鐘就完成了訓練。

這比6月份的刷新記錄的成績——10.9分鐘，提升了近3倍。

Eos使用了多達10,752個H100和NVIDIA Quantum-2 InfiniBand網絡互連。

通過推算，Eos現在可以在短短8天內進行訓練，比之前使用512個A100 GPU的先進系統快73倍。

在本輪新的生成式AI測試中，1,024個NVIDIA Hopper架構GPU在2.5分鐘內完成了基于Stable Diffusion文本到圖像模型的訓練基準測試，為這一新工作負載設定了高標準。

與此同時，外媒曝光了英偉達為應對新規而打造的全新「特供版」芯片——H20、L20和L2。

系統擴展效率飆升93%

最新的結果部分是由于使用了有史以來應用于MLPerf基準測試的最多加速器。

10,752個H100 GPU遠遠超過了6月份AI訓練的規模，當時英偉達使用了3,584個Hopper GPU。

GPU數量擴展3倍，性能擴展了2.8倍，效率達到93%，這在一定程度上要歸功于軟件優化。

高效擴展是生成式AI的關鍵要求，因為LLM每年都在以一個數量級的速度增長。

最新結果顯示，即使是世界上最大的數據中心，英偉達也有能力應對這一前所未有的挑戰。

這一成就歸功于加速器、系統和軟件創新的全棧平臺，Eos和Microsoft Azure在最近一輪測試中都使用了該平臺。

Eos和Azure在各自的提交中都采用了10,752個H100。它們的表現相差不到2%，展示了英偉達AI在數據中心和公有云部署中的高效性。

英偉達依靠Eos完成了各種關鍵任務。

它有助于推進NVIDIA DLSS和ChipNeMo等計劃，后者是幫助設計下一代GPU的生成式AI工具。

9項基準測試，刷新記錄

除了在生成式AI方面取得進步，英偉達在這一輪測試中還刷新了幾項新的記錄。

比如，在訓練推薦系統模型的測試中，H100 GPU比上一輪快了1.6倍。在計算機視覺模型RetinaNet的測試中，性能提高了1.8倍。

這些性能提升來源于軟件和硬件規模擴充的優化結合。

英偉達再次成為唯一一家完成了所有MLPerf測試的公司。H100在9項基準測試中展示了最快的性能和最大的擴展性。

這些加速為用戶訓練大模型或用NeMo等框架自定義模型以滿足業務需求,帶來了更快上市時間、更低成本和節省能源。

這一輪測試中，包括華碩、戴爾技術、富士通、技嘉、聯想、QCT和超微等11家系統制造商在提交結果中使用了NVIDIA AI平臺。

特供版H20、L20和L2性能曝光

在過去幾年中，美國對高性能硬件出口實施了非常嚴格的限制。

尤其是在2023年11月生效的新規，更是要求所有達到一定總處理性能和/或性能密度的硬件都必須獲得出口許可。

據最新泄露的文件和四位熟悉內情的人士透露，為了遵守美國的出口管制，英偉達已經推出了三款全新的「中國定制版」芯片——HGX H20、L20 PCle 和 L2 PCle GPU。

其中，HGX H20配有高達96GB的HBM3顯存，以及4TB/s的帶寬，并且基于全新的Hopper架構。

與H100的50MB二級緩存相比，H20還擁有更大的60MB二級緩存。

然而在性能方面，HGX H20只能提供FP64精度1 TFLOPS（H100為34 TFLOPS）和FP16/BF16精度148 TFLOPS（H100為1,979 TFLOPS）的算力。

由此，功耗也從700W降到了400W。

有趣的是，基于安培架構并配備24GB HBM2的入門級A30 GPU，在FP64和FP16/BF16精度下，都要比HGX H20快不少。

至于L20和L2 PCIe GPU，則是基于閹割后的AD102和AD104核心，對應的是與L40和L40S相同的市場。

更直觀地，RTX 4090采用的便是AD102的變體，而4070和4070Ti則是基于AD104的變體。

除此之外，為了遵守新規，HGX H20、L20 PCle和L2 PCle GPU不僅性能是殘血的，而且還只配備了殘血版的NVLink連接。