數(shù)據(jù)中心、公有云、邊緣計算中的存儲技術(shù)趨勢展望
引言

存儲系統(tǒng)是IT系統(tǒng)的重要組成部分,負(fù)責(zé)數(shù)據(jù)的可靠存儲和IO訪問,其評價標(biāo)準(zhǔn)主要為存儲的可靠性、性能和可提供的存儲容量。目前的信息技術(shù)領(lǐng)域的熱點依然是云計算、AI、大數(shù)據(jù)分析以及5G帶動的IoT,而傳統(tǒng)企業(yè)級應(yīng)用的IT系統(tǒng)已經(jīng)日趨完善。
目前的IT市場格局主要由互聯(lián)網(wǎng)廠商、傳統(tǒng)IT廠商和新興初創(chuàng)型技術(shù)公司組成,而IT系統(tǒng)的建設(shè)部署主要包括公有云、企業(yè)自建數(shù)據(jù)中心(On-Premises),以及近兩年發(fā)展起來的邊緣計算。
Gartner于今年7月發(fā)布的《2022年存儲與數(shù)據(jù)保護(hù)技術(shù)成熟度曲線報告》顯示出如下未來存儲市場發(fā)展趨勢:
- 到2025年,部署支持主存儲工作負(fù)載的外部企業(yè)存儲陣列中有30%將采用NVMe-oF,而在2021年,這一比例不足5%。
- 到2025年60%的存儲領(lǐng)導(dǎo)廠商會實現(xiàn)至少一種混合云架構(gòu),而2022年這一比例僅為15%。
- 到2025年,超過40%的企業(yè)存儲將部署在邊緣,2022年這一比例為15%。
- 到2026年,大型企業(yè)會在數(shù)據(jù)中心、公有云和邊緣一共部署相當(dāng)于2022年3倍的非結(jié)構(gòu)化數(shù)據(jù)容量用于存儲文件和對象數(shù)據(jù)。
下文將對數(shù)據(jù)中心、公有云、邊緣計算這三種主要部署場景中的存儲技術(shù)的發(fā)展趨勢進(jìn)行分析。
一、數(shù)據(jù)中心(On-Premises)存儲技術(shù)發(fā)展趨勢
數(shù)據(jù)中心主要承載企業(yè)的生產(chǎn)業(yè)務(wù),以ERP、CRM、SCM等傳統(tǒng)應(yīng)用為主。目前此類應(yīng)用已主要采用全閃存存儲,其中NVMe全閃存逐漸成為主流趨勢。同時存儲與前端應(yīng)用主機(jī)的網(wǎng)絡(luò)存儲協(xié)議開始采用NVMe over Fabrics(NVMe-oF)。
NVMe-oF是一種存儲網(wǎng)絡(luò)協(xié)議,通過網(wǎng)絡(luò)將NVMe命令傳送到遠(yuǎn)程N(yùn)VMe子系統(tǒng),以利用NVMe 全閃存的并行訪問和低延遲,該規(guī)范定義了一個協(xié)議接口,旨在與高性能fabric技術(shù)配合使用,包括通過實現(xiàn)RDMA技術(shù)的InfiniBand、RoCE v2、iWARP或TCP。
NVMe-oF是一種使用NVMe協(xié)議將訪問擴(kuò)展到遠(yuǎn)程存儲系統(tǒng)的非易失性存儲器(NVM)設(shè)備的方法。這使得前端接口能夠連接到存儲系統(tǒng)中,擴(kuò)展到大量NVMe設(shè)備,并延長數(shù)據(jù)中心內(nèi)可以訪問NVMe子系統(tǒng)的距離。NVMe-oF的目標(biāo)是顯著改善數(shù)據(jù)中心網(wǎng)絡(luò)延遲,并為遠(yuǎn)程N(yùn)VMe設(shè)備提供近似于本地訪問的延遲,目標(biāo)為10us。今后,NVMe over TCP很可能會發(fā)展成為NVMe-oF非常重要的數(shù)據(jù)中心傳輸機(jī)制,VMware在2021年已宣布對NVME over TCP的官方支持。
目前對NVMe-oF的軟件支持仍處于起步階段,但隨著它的擴(kuò)展和成熟,像金融、電信運(yùn)營商等信息化建設(shè)領(lǐng)先者,要么使用NVMe over RoCE v2部署NVMe-oF,要么在基于TCP/IP的產(chǎn)品上部署NVMe-oF,以利用最新的以太網(wǎng)部署,從而簡化過渡并提供投資保護(hù)。
目前NVMe和基于NVMe-oF的解決方案主要應(yīng)用場景包括關(guān)系型數(shù)據(jù)庫或內(nèi)存數(shù)據(jù)庫的事務(wù)處理、AI/ML、HPC等需要高IOPS、高帶寬和極低訪問延遲的場景。
二、公有云存儲技術(shù)發(fā)展趨勢
公有云目前基于軟件定義存儲技術(shù),采用分布式存儲架構(gòu)提供分布式塊存儲、對象存儲以及分布式文件訪問服務(wù)。
目前公有云存儲技術(shù)有兩個新的發(fā)展趨勢:xPU和容器存儲。
(1)xPU技術(shù)
xPU包括SmartNIC、DPU(Data Processing Unit)、IPU(Infrastructure Processing Unit)、FAC(Function Accelerator Card)、NAPU(Network Attached Processing Unit)等。這是一類具有專用硬件加速器和可編程處理器的設(shè)備,可加速網(wǎng)絡(luò)、安全和存儲功能,為數(shù)據(jù)流、包處理提供性能優(yōu)化,提供加速、卸載和本地服務(wù),部署為ASIC、FPGA或SoC。
xPU除了能夠連接到網(wǎng)絡(luò)外,還可提高數(shù)據(jù)運(yùn)營和服務(wù)、服務(wù)器可用性以及網(wǎng)絡(luò)性能和安全性。xPU具有板載存儲器和多種網(wǎng)絡(luò)接口,可以獨(dú)立運(yùn)行。xPU通過虛擬交換、安全和應(yīng)用交付控制(ADC)等卸載功能,將服務(wù)器性能提高多達(dá)50%。目前xPU主要被AWS、Microsoft Azure、阿里云等公有云采用。
xPU可實現(xiàn)經(jīng)濟(jì)高效的數(shù)據(jù)中心環(huán)境,同時提高性能。通過卸載高開銷的各種功能,它們允許服務(wù)器運(yùn)行更多工作負(fù)載,從而提高服務(wù)器的資源利用率,在某些情況下,還可以降低基礎(chǔ)設(shè)施軟件的License費(fèi)用。
AI/ML工作負(fù)載、3D建模、地震分析和大數(shù)據(jù)分析的興起對存儲和網(wǎng)絡(luò)產(chǎn)生了前所未有的需求,從而導(dǎo)致延遲和帶寬問題。xPU也越來越多地用于高性能全閃存存儲系統(tǒng)中,以提高IOPS并最大限度地減少延遲。xPU可以提供基于fabric的NVMe-oF和GPU直接存儲,實現(xiàn)NVMe-oF加速和AI/ML加速,加速遠(yuǎn)程資源之間的數(shù)據(jù)傳輸,可用于HPC、AI/ML以及各種高性能分析等應(yīng)用場景。
(2)容器原生存儲(Container Native Storage)
公有云環(huán)境需要新的數(shù)據(jù)管理工具和流程,以便提供由容器中運(yùn)行并由K8S編排的有狀態(tài)應(yīng)用程序訪問的存儲服務(wù)。K8S存儲標(biāo)準(zhǔn)化受益于容器存儲接口(CSI)的引入和日益普及,CSI接口由云原生計算基金會(CNCF)推廣。
容器原生存儲(CNS)是專門設(shè)計用于支持容器工作負(fù)載,專注于滿足獨(dú)特的云原生架構(gòu)、粒度和性能需求,同時提供與容器管理編排系統(tǒng)的深度集成。CNS與微服務(wù)體系結(jié)構(gòu)原則保持一致,并遵循容器本機(jī)數(shù)據(jù)服務(wù)的要求,包括與硬件無關(guān)、API驅(qū)動以及基于分布式軟件體系結(jié)構(gòu)。
許多基于容器的應(yīng)用程序需要支持持久性數(shù)據(jù),容器原生存儲專門設(shè)計用于運(yùn)行云原生應(yīng)用程序,其通用基礎(chǔ)通常基于分布式、軟件定義的統(tǒng)一存儲池,并具有數(shù)據(jù)服務(wù)的容器級粒度。容器原生存儲的整個堆棧通常使用K8S進(jìn)行編排,以管理容器生命周期集成。
容器存儲支持部署有狀態(tài)云原生應(yīng)用程序,從而提高彈性、可用性以及混合云和多云集成,并且消除了在構(gòu)建和部署現(xiàn)代云原生應(yīng)用程序的端到端過程中實現(xiàn)便攜式基礎(chǔ)設(shè)施敏捷性的瓶頸。容器原生存儲可以部署在本地或云中,成為混合云和多云部署基礎(chǔ)設(shè)施的最佳選擇。由于CNS函數(shù)基于軟件,因此可以在容器中實現(xiàn),從而可以使用與容器化應(yīng)用程序相同的業(yè)務(wù)流程函數(shù)對其進(jìn)行管理。容器存儲最適合新的云本機(jī)應(yīng)用程序,或者將進(jìn)行重大重構(gòu)修訂的應(yīng)用程序。未來公有云會選擇符合微服務(wù)架構(gòu)原則并符合容器原生數(shù)據(jù)服務(wù)要求的存儲解決方案,例如與硬件無關(guān)、API驅(qū)動、基于分布式架構(gòu),并且能夠支持邊緣、核心或公有云部署。
三、邊緣計算存儲技術(shù)發(fā)展趨勢
邊緣計算包括許多特定應(yīng)用場景,比如加密、視頻編碼、AI/ML面部識別等,其特點是數(shù)據(jù)要在本地快速處理,并通過網(wǎng)絡(luò)將處理結(jié)果傳輸?shù)綌?shù)據(jù)中心或者公有云/混合云中。目前的技術(shù)限制主要在于本地數(shù)據(jù)處理能力和網(wǎng)絡(luò)傳輸帶寬不足。通過壓縮/解壓縮引擎,使驅(qū)動器能夠在每GB閃存中存儲更多數(shù)據(jù),并能在窄帶內(nèi)保持高傳輸性能是邊緣計算的核心存儲需求,而最新流行的計算存儲將成為適合邊緣計算的最佳存儲技術(shù)。
計算存儲(Computational Storage)將主機(jī)數(shù)據(jù)處理從CPU主內(nèi)存卸載到存儲設(shè)備,涉及位于存儲設(shè)備上的更復(fù)雜的處理功能。計算存儲采用FPGA、ASIC更強(qiáng)大的處理能力,SSD上配置低功耗CPU內(nèi)核。由于需要將操作任務(wù)卸載到SSD驅(qū)動器中,主機(jī)應(yīng)用程序必須能夠與計算存儲的存儲驅(qū)動器充分通信。全球存儲網(wǎng)絡(luò)工業(yè)協(xié)會(SNIA)目前已發(fā)布計算存儲V1.0標(biāo)準(zhǔn),這個開放標(biāo)準(zhǔn)框架使主機(jī)服務(wù)器應(yīng)用程序能夠與計算存儲設(shè)備進(jìn)行交互。
計算存儲是一種新型存儲驅(qū)動器,可為延遲敏感型應(yīng)用場景(如AI/ML、IoT、沉浸式和混合現(xiàn)實流以及本地和邊緣的高頻交易)提供一致的性能。邊緣計算是計算存儲應(yīng)用的一個主要場景,有利于分布式處理和電源效率的應(yīng)用程序未來也可以利用計算存儲。在邊緣計算中,計算存儲可減少與應(yīng)用程序相關(guān)的內(nèi)存管理挑戰(zhàn),這解決了與存儲相關(guān)的數(shù)據(jù)移動問題。與傳統(tǒng)SSD相比,計算存儲的低功耗和低占用空間提高了每瓦性能,降低了邊緣應(yīng)用的功耗成本。同時,將更強(qiáng)大的嵌入式計算引擎與SSD控制器進(jìn)行集成可以大幅縮短數(shù)據(jù)處理時間,提高壓縮效率,改善其它關(guān)鍵驅(qū)動功能。
計算存儲減少在存儲和應(yīng)用程序計算資源之間移動數(shù)據(jù)時的性能低效率、能耗和延遲敏感問題,就近處理數(shù)據(jù)并分析數(shù)據(jù)生成和存儲的位置,使用戶能夠在設(shè)備級別提取業(yè)務(wù)分析數(shù)據(jù)。隨著數(shù)據(jù)量的增加和數(shù)據(jù)移動網(wǎng)絡(luò)帶寬成為瓶頸,計算存儲可以明顯減少邊緣工作負(fù)載的延遲。存儲效率的顯著提升和成本的降低將使計算存儲成為邊緣計算的最佳技術(shù)選擇。
但不管哪類存儲,企業(yè)用戶都要從性能、可靠性、穩(wěn)定性、備份容災(zāi)等多角度考量,在面對核心業(yè)務(wù)應(yīng)用場景的方案選擇時,對開源存儲均持謹(jǐn)慎態(tài)度。特別是本身對安全穩(wěn)定要求比較高的金融客戶,還要面臨后續(xù)軟件維護(hù)、更新迭代等一系列技術(shù)挑戰(zhàn)。因此,在核心業(yè)務(wù)、生產(chǎn)系統(tǒng)和大規(guī)模部署情況下,企業(yè)用戶選擇存儲系統(tǒng)的觀念依然“保守”,相比開源存儲,自研存儲系統(tǒng)依然是企業(yè)用戶核心業(yè)務(wù)的首選。
























