隨著全球企業(yè)數(shù)字化轉(zhuǎn)型的加速進行，當前以ChatGPT為代表的應用在生產(chǎn)、生活領域的不斷深入，ChatGPT熱度暴增的背后，代表著人工智能等內(nèi)容自動生成技術所需要的基礎設施需求也水漲船高。

未來5年我國智能算力規(guī)模年復合增長率將達52.3%

據(jù)《2022-2023中國人工智能計算力發(fā)展評估報告》，2021年中國智能算力規(guī)模達155.2 EFLOPS(FP16),  預計到2026年中國智能算力規(guī)模將達到1271.4 EFLOPS。2021~2026年期間，預計中國智能算力規(guī)模年復合增長率達52.3%。

隨著“東數(shù)西算”工程、新型基礎設施等國家政策規(guī)劃出臺，我國智算中心掀起建設熱潮。當前我國超過30個城市正在建設或提出建設智算中心，整體布局以東部地區(qū)為主，并逐漸向中西部地區(qū)拓展。從發(fā)展基礎層面看，圍繞AI產(chǎn)業(yè)化和產(chǎn)業(yè)AI化的發(fā)展思路，人工智能產(chǎn)業(yè)已初步形成以異構(gòu)芯片、算力設施、算法模型、產(chǎn)業(yè)應用為核心的架構(gòu)體系，智算中心具備建設基礎。

構(gòu)建規(guī)模化智能算力底座

當前ChatGPT其訓練模型主要是在通用基礎大模型底座GPT-3上。訓練超大基礎模型需要多方面的關鍵技術作為支撐，算法、算力和數(shù)據(jù)缺一不可。算法依賴大模型參數(shù)的提升以及模型本身的優(yōu)化，而算力和數(shù)據(jù)則需要依賴傳統(tǒng)的GPU服務器、存儲以及網(wǎng)絡來實現(xiàn)相互促進。

數(shù)據(jù)顯示，ChatGPT的總算力消耗約為3640PF-days(即假如每秒計算一千萬億次，需要計算3640天)，需要7~8個投資規(guī)模30億、算力500P的數(shù)據(jù)中心才能支撐運行。ChatGPT按照1300萬/天的訪問量，估算需要3萬+ GPU。GPU在訓練過程中會進行頻繁通信，包括P2P通信和Collective通信。在節(jié)點內(nèi)，GPU之間的通信互聯(lián)帶寬可達400GB/s。在節(jié)點之間，GPU通信使用RDMA網(wǎng)絡，通過GDR（GDR, GPU Direct RDMA）技術支持， RDMA網(wǎng)卡可以繞過CPU、內(nèi)存，直接從遠端節(jié)點讀取數(shù)據(jù)到GPU顯存。

算力中心網(wǎng)絡層面需要通過智能無損存儲網(wǎng)絡等技術實現(xiàn)網(wǎng)絡和應用系統(tǒng)融合優(yōu)化，通過流量控制技術和擁塞控制技術來提升網(wǎng)絡整體的吞吐量，降低網(wǎng)絡時延。

對于新華三智能無損網(wǎng)絡而言，具備超大規(guī)模組網(wǎng)是構(gòu)建智能算力的必經(jīng)之路。目前以ChatGPT為代表的AIGC，包括它背后的大模型的意義，不僅僅是在落地本身，它的科研價值可能更大。普遍認為率先落地的幾個行業(yè)可能包括科研類、教育、互聯(lián)網(wǎng)相關產(chǎn)業(yè)等。

以大規(guī)模化部署的互聯(lián)網(wǎng)行業(yè)為例，某互聯(lián)網(wǎng)公司緊跟chatGPT等AI訓練為契機搭建單PoD支持4000個200G端口的集群算力網(wǎng)絡。在以科研、教育為依托的智算中心當前PoD內(nèi)部署端口數(shù)通常在1000~4000個之間，因此新華三提供了多種可選的高性能網(wǎng)絡方案，完全滿足用戶不同業(yè)務場景規(guī)模。

盒盒組網(wǎng)：當前主力的GPU服務器100G/200G/400G網(wǎng)卡速率，以新華三采用最新的S9825/S9855等系列三層ToR/Leaf/Spine組網(wǎng)架構(gòu)為例，Spine采用雙平面并且保證ToR上下行收斂比滿足1：1要求。在服務器接入速率400G下單PoD可以支持1024臺服務器，集群可以提供2048臺400G服務器規(guī)模接入；若采用200G速率則可以提供單PoD支持2048臺服務器，集群最大支持32個PoD理論可滿足6.5萬臺服務器規(guī)模接入；若采用100G速率接入則可以滿足集群最大可超過十萬臺服務器規(guī)模接入。

圖1：三級盒式架構(gòu)200G接入組網(wǎng)

而對于確定性規(guī)模的無損網(wǎng)絡而言，新華三提供“一框即無損”的輕量級智能無損網(wǎng)絡部署方案，同樣可以滿足絕大多數(shù)場景的智算組網(wǎng)需求。

以S12516CR滿配576個400G端口為例，單框作為作為ToR直接于服務器網(wǎng)卡連接實現(xiàn)1：1收斂，最大可以支持單PoD  576個400G QSFP DD端口接入；200G QSFP56可以滿足最大1152個端口接入；而100G QSFP56可以滿足最大1536個端口接入。需要注意的是采用400G DR4直接拆分可以得到超過2000個DR1封裝的100G端口，而當前主流網(wǎng)卡均不支持DR1。采用單框無損的優(yōu)勢顯而易見，采用組網(wǎng)架構(gòu)摒棄傳統(tǒng)的Leaf/Spine架構(gòu)，可以有效降低設備數(shù)量，降低數(shù)據(jù)轉(zhuǎn)發(fā)跳數(shù)有效降低數(shù)據(jù)轉(zhuǎn)發(fā)時延，同時無需計算多層級下的收斂比以及設備規(guī)模等，大大簡化部署和選型難度并且有效提升組網(wǎng)效率。對于確定性規(guī)模的智能無損網(wǎng)絡不失為一種新的嘗試。

圖2：“一框即無損” 200G接入組網(wǎng)

框盒組網(wǎng)：而對于有著更大規(guī)模組網(wǎng)的需求，新華三數(shù)據(jù)中心網(wǎng)絡提供框盒無損架構(gòu)。

同樣以GPU服務器100G/200G/400G網(wǎng)卡速率為例，若采用新華三旗艦數(shù)據(jù)中心框式產(chǎn)品S12500CR系列構(gòu)建ToR/Leaf/Spine三層組網(wǎng)架構(gòu)，單臺S12516CR作為Spine并且保證ToR上下行收斂比滿足1：1要求。在服務器接入速率400G下單PoD可以支持千臺服務器，集群理論最大可以提供近59臺400G服務器規(guī)模接入；若采用200G速率則可以提供單PoD支持兩千臺服務器，集群提供近118萬臺服務器規(guī)模接入；若采用100G速率接入集群最大可以提供超200萬臺服務器規(guī)模接入。下圖即為三層框式架構(gòu)200G接入組網(wǎng)

兼?zhèn)湟?guī)模組網(wǎng)和信元交換

對于數(shù)據(jù)中心交換機而言，不論是傳統(tǒng)的機框式或者盒式交換機隨著端口速率從 100G 提升到 400G。不僅要面臨功耗問題，同樣要解決盒式組網(wǎng)的Hash精度以及大象老鼠流。因此新華三數(shù)據(jù)中心交換機在構(gòu)建智能無損算力數(shù)據(jù)中心網(wǎng)絡時優(yōu)先采用DDC（Distributed Disaggregated Chassis）技術應對日益增長的算力網(wǎng)絡方案。DDC 技術通過對大機框設備進行分布式解耦，采用盒式交換機作為轉(zhuǎn)發(fā)線卡和交換網(wǎng)板，靈活分布式部署在多個機柜， 優(yōu)化組網(wǎng)規(guī)模以及功耗分布問題，同時DDC盒式交換機之間依舊采用信元交換。

DDC系統(tǒng)各角色名稱：

NCP：Network Cloud Packet (Line card in Chassis)

NCF：Network Cloud Fabric (Fabric card in Chassis)

NCM：Network Cloud Management (Main Management card in Chassis)

圖4：DDC架構(gòu)

圖5：DDC架構(gòu)解耦，400G Full mesh全互聯(lián)

以S12516CR為例，單臺設備可支持2304臺100G服務器規(guī)模并且支持1：1收斂。DDC方案將控制端元獨立解耦，在NCP以及NCF之間采用400G全互聯(lián)同時支持信元轉(zhuǎn)發(fā)，支持數(shù)據(jù)中心Leaf和Spine無阻塞，有效提升數(shù)據(jù)報文轉(zhuǎn)發(fā)效率。經(jīng)測試DDC在Alltoall場景有一定優(yōu)勢，完成時間提高20-30%。同時相比傳統(tǒng)盒式組網(wǎng)，DDC硬件收斂性能優(yōu)勢明顯，從端口的up down 測試對比可以發(fā)現(xiàn)采用DDC的收斂時間不足盒式組網(wǎng)時間的1%。

網(wǎng)絡智能化+流量可視化

智算中心的服務模式從提供算力為主向提供“算法+算力”轉(zhuǎn)變，在智能無損網(wǎng)絡中同樣需要AI無損算法加持。

無損網(wǎng)絡中各個隊列轉(zhuǎn)發(fā)的數(shù)據(jù)流量特征會隨時間動態(tài)變化，網(wǎng)絡管理員通過靜態(tài)設置ECN門限時，并不能滿足實時動態(tài)變化的網(wǎng)絡流量特征。新華三無損網(wǎng)絡交換機支持AI ECN功能利用設備本地或分析器上的AI業(yè)務組件，按照一定規(guī)則動態(tài)優(yōu)化ECN門限。其中，AI業(yè)務組件是實現(xiàn)ECN動態(tài)調(diào)優(yōu)的關鍵，是內(nèi)置在網(wǎng)絡設備或者分析器中的系統(tǒng)進程，它主要包括三個層次的功能框架：

• 數(shù)據(jù)采集分析層：提供用于獲取海量待分析的特征數(shù)據(jù)的數(shù)據(jù)采集接口，并對獲取到的這些數(shù)據(jù)進行預處理和分析。
• 模型管理層：管理模型文件，并基于用戶加載的AI功能模型，推理得到AI ECN門限。
• 算法層：調(diào)用數(shù)據(jù)采集分析層的接口得到實時特征數(shù)據(jù)，按照固定步長的搜索試算法計算得到AI ECN門限。

圖6：AI ECN功能實現(xiàn)示意圖

另外，新華三數(shù)據(jù)中心網(wǎng)絡提供AI ECN運維可視化。根據(jù)AI業(yè)務組件在網(wǎng)絡中的實施位置不同，AI ECN功能可以分為集中式AI ECN和分布式AI ECN兩種模式：

• 分布式AI ECN：AI業(yè)務組件集成在設備本地，通過在設備中增加專門的神經(jīng)網(wǎng)絡（GPU）芯片來滿足AI業(yè)務組件對算力的需求。
• 集中式AI ECN：AI業(yè)務組件由分析器實現(xiàn)。適用于未來SDN網(wǎng)絡架構(gòu)，方便包括AI ECN在內(nèi)的所有AI業(yè)務進行集中式管控和可視化運維。

在上述兩種場景中，均可以借助SeerAnalyzer分析器的優(yōu)勢，為用戶呈現(xiàn)可視化的AI ECN參數(shù)調(diào)優(yōu)效果。

圖7：AI ECN調(diào)優(yōu)前后PFC反壓幀速率對比

回顧過去，新華三已經(jīng)在智能無損網(wǎng)絡領域與諸多頭部企業(yè)達成深度合作。而在未來，新華三數(shù)據(jù)中心網(wǎng)絡將持續(xù)聚焦超寬、智能、融合、綠色的演進，提供更智能、更綠色、更強算力的數(shù)據(jù)中心網(wǎng)絡產(chǎn)品與方案。

引用文獻：

1、光明網(wǎng)：ChatGPT火爆帶動算力需求，我國算力規(guī)模能否支撐？

2、《智能計算中心創(chuàng)新發(fā)展指南》

3、《DDC 技術白皮書》