?傳統協議無法滿足全閃存數據中心的要求，NVMe存儲協議的出現極大提升了存儲系統內部的存儲吞吐性能、降低了傳輸時延，NoF（NVMe over Fabric）存儲網絡應運而生。在多種Fabric技術中，NVMe over RoCE（RDMA over Converged Ethernet）被廣大存儲廠商所接受，成為業界NoF的主流。華為推出的NoF+存儲網絡解決方案，相較于標準NoF方案，在性能、可靠性、易用性上均實現了顛覆性改進，是全閃存時代的最佳選擇。

隨著存儲介質從 HDD 發展到 SSD，存儲高性能吞吐與 SCSI 協議傳輸較低性能吞吐之間的矛盾日益嚴重，從而出現了 NVMe 存儲協議。NVMe 規范了 SSD 訪問接口，簡化了協議復雜性，充分利用 PCIe（Peripheral Component Interconnect Express）通道的低延時以及并行性，利用多核處理器，通過降低協議交互時延，增加協議并發能力，并且精簡操作系統協議堆棧，顯著提高了 SSD 的讀寫性能。

全場景閃存化推動了數據中心的網絡改革，NVMe 最大化釋放了 SSD 介質的能力。更快的存儲呼吁更快的網絡。NoF 存儲網絡應運而生，通過使用 IP 網絡對專用網絡的創新性革新，實現了更高的帶寬和更低的時延，同時也兼具 IP 易管理的優勢，是更好地實現端到端 NVMe 存儲網絡的最佳方案。

NoF 將 NVMe 協議應用到服務器主機前端，作為存儲陣列與前端主機連接的通道，可端到端取代 SAN 網絡中的 SCSI 協議，構建全以太的存儲 SAN 網絡。

NVMe over Fabric 中的“Fabric”，是 NVMe 的承載網絡，這個網絡可以是RoCE、FC 或 TCP。具體說明如下：

NVMe over FC 協議標準為 FC-NVMe，FC-NVMe 和 FC-SCSI 同樣都基于 FCP，IO 交互基于 Exchange。FC-NVMe 基于傳統的 FC 網絡，通過升級主機驅動和交換機支持，FC-SCSI 和 FC-NVMe 能同時運行在同一個 FC 網絡中。FC-NVMe 能最大化繼承傳統的 FC 網絡，復用網絡基礎設施，基于 FC 物理網絡發揮 NVMe新協議的優勢。

NVMe over TCP 基于現有的 IP 網絡，采用 TCP 協議傳輸 NVMe，在網絡基礎設施不變的情況下實現了端到端 NVMe。 

NVMe over RoCE 是 NVMe over RDMA 的一種，RDMA 是承載 NoF 的原生網絡協議，RDMA 協議除了 RoCE 外還包括 IB（InfiniBand）和 iWARP（Internet Wide Area RDMA Protocol）。

其中，基于以太網的 RoCE 目前已成為 RDMA 的主流網絡承載方式。NVMe over RDMA 協議比較簡單，直接把 NVMe 的 IO 隊列映射到 RDMA QP（Queue Pair）連接，通過 RDMA SEND，RDMA WRITE，RDMA READ 三個語義實現 IO 交互。NVMe over RoCE 基于融合以太網的RDMA 技術承載 NVMe 協議。

三種方案相比較，基于以太網的 RoCE 比 FC 性能更高（更高的帶寬、更低的時延），同時兼具 TCP 的優勢（全以太化、全 IP 化），因此 NVMe over RoCE 是 NoF最優的承載網絡方案，也已成為業界 NoF 的主流技術。

基于以太網的 RoCE 在存儲性能、帶寬方面比 FC 有顯著優勢，但替換 FC，聯接全閃存，標準的 NVMe over RoCE 還需在 3 個方面加強完善：

1. 網絡性能：零丟包網絡零丟包是存儲網絡的基本需求，傳統以太網絡擁塞易丟包。

2. 可靠性：秒級主備切換存儲為了可靠性，會構建多個網絡平面，切換時間需<1s。

3. 易用性：即插即用FC 存儲網絡場景單一、配置簡單，當前以太網絡還需針對存儲場景適應性改進。

基于當下業界主流的標準 NoF 方案，華為依靠在網絡和存儲領域的深厚積累，進一步從網絡性能、可靠性和易用性這三點都進行提升，基于智能無損網絡面向集中式存儲場景提出了 NoF+解決方案，將數據中心存儲網絡進一步推向更廣闊的發展空間。

網絡性能增強：NoF+方案改變了傳統以太靜態水線方式，對網絡預測性能力進行專項優化，通過樣本計算，針對特定場景，通過算法進行精準的控制，從而預判業務對網絡的訴求，提前做出優化，實現高吞吐帶寬，進一步提升性能。

可靠性增強：保障業務系統可靠是存儲的根基，比如存儲的秒級切換功能就是可靠性的關鍵保障之一，標準以太缺乏故障主動發現和通知能力，NoF+實現了從事后被動響應到主動通知、提前識別擁塞和故障。當一個節點出現故障，業務會以亞秒級響應速度切換，在高性能運行的前提下，也能維持系統的穩定可靠。

易用性增強：華為的存儲與網絡產品強強聯合，打造了“即插即用”的方案，實現了一鍵式擴容，自動化管理，增強了在未來建設時的易用性。

在數據中心常規組網里面，存儲網絡只是其中的一部分，集中式存儲是一個獨立的網絡，與業務網絡在物理上隔離。

業務網絡：是指業務服務器對外提供服務通信網絡，該網絡與外部網絡互連互通。

計算網絡：是指運行 OLTP/OLAP（Online Transaction Processing/Online Analytical Processing）數據庫的后臺服務計算節點所組成的物理網絡，使用不同的網卡連接業務網絡和存儲網絡，實現業務網絡和存儲網絡之間物理隔離，避免相互影響。

存儲網絡：是指計算服務器訪問存儲數據時使用通信網絡，該網絡一般是獨立的物理網絡。為了保證數據高可靠，存儲網絡支持 DC 級容災，支持同城雙活存儲網絡，確保業務系統發生設備故障、甚至單數據中心故障時，業務無感知自動切換，實現 RPO （ Recovery Point Objective ） =0 ， RTO （ Recovery Time Objective）≈0（與應用系統及部署方式有關）。

數據中心為了容災考慮，需要實現多數據中心互通。同城兩個數據中心互為備份，且都處于運行狀態。當一個數據中心發生設備故障，甚至數據中心整體故障時，業務自動切換到另一個數據中心，解決了傳統災備中心不能承載業務和業務無法自動切換的問題。提供給用戶高級別的數據可靠性以及業務連續性的同時，提高存儲系統的資源利用率。異地進行異步數據備份。

在集中式存儲下，為了實現同城讀寫支持 NVME over ROCE，需要實現同城無損網絡，即需要一套跨 DC 的無損網絡，每個 DC 部署兩臺支持智能長距無損的 DCI Leaf，中間通過波分設備或者裸光纖直連實現雙平面，實現端到端的 ROCE 無損網絡。

在本場景中，常見的流量有以下幾種類型：

由應用發起對存儲節點數據的讀操作，此時計算節點訪問同 DC 中的存儲節點，存儲節點返回相應數據，如圖中藍色線條所示。

當應用同時還需要對存儲寫數據時，除了對本 DC 內的存儲節點執行寫操作，在存儲系統之間，同時也會發起對另外 DC 中存儲的寫操作，作為數據的復制備份，如圖中黑色線條所示。

當上層應用在寫本 DC 存儲時，會先探測本 DC 內存儲節點是否可用，如果不可用，則應用會將數據寫入到 DC2 中的存儲節點中，如圖中紅色線條所示。然后DC2 中的存儲節點，再嘗試將數據復制寫如到 DC1 的存儲節點中，如圖中的紫色線條所示。

RoCEv2 協議將 RDMA 遷移到了 ETH/IP 網絡，使得 ETH/IP 網絡支持 HPC、AI、分布式存儲和集中式存儲。NoF+存儲網絡解決方案借助 RoCEv2 技術改變了傳統數據中心前端業務網采用以太網、計算網采用 IB 網、存儲網采用 FC 網的異構模式，讓智能無損網絡實現三網合一成為可能，全部采用以太的方式部署。?