摘要：隨著數據量的倍數增長，無處不計算的概念正在普及，現(xiàn)有的以計算為中心的架構需要將數據傳輸到中央計算內存單元進行數據挖掘與分析。隨著數據時代的到來，新形態(tài)的以數據為中心的計算存儲架構和技術正在快速發(fā)展，在數據存儲端直接進行數據處理將成為風潮，不僅可以提高云數據中心的數據處理能力和效率，并預計可為物聯(lián)網、機器學習、邊緣計算等領域創(chuàng)造更多商務價值。

　　數據量的產出正在呈現(xiàn)爆發(fā)式的增長。根據分析調研機構IDC的報告指出，被創(chuàng)建、獲取或復制的數據量將從2018年的33 ZB增加到2025年的175 ZB。為了讓這些數據實現(xiàn)其價值，我們必須將其分析處理成有意義的見解，而數據分析的速度和效率依賴于數據處理系統(tǒng)的架構。以計算為中心的架構需要將數據傳輸到中央計算內存單元進行數據挖掘與分析，更加適用于數據量小、計算密度大的應用負載，但在數據量激增的情況下很顯然地有些遠水不解近渴，難以繼續(xù)擴展?，F(xiàn)在IT行業(yè)里更多的關注點是如何將計算能力分布到存儲設備附近，就地對大量數據進行分析處理，從中獲取洞察力。這種趨勢推動了以數據為中心的計算存儲的快速發(fā)展。

　　今天，有越來越多的數據存儲在各種形態(tài)的存儲盤上，但數據的存儲和計算處理總在不同的地方進行，因此我們常見大量數據(目前一般盤的容量通常為16 TB，并不斷增加)在存儲和計算設備之間移動，但由于網絡帶寬和計算單元內存容量的限制這種方法無法擴展，導致大量具附加價值、有潛力為服務及運營帶來指導性洞察力的數據不能發(fā)揮他們應有的威力。

　　在傳統(tǒng)的存儲模型中，數據一般存儲在硬盤和固態(tài)硬盤上，在需要進行數據分析的時候，將其傳輸到外部的計算設備，通常是服務器。計算存儲能在數據所在的存儲盤上進行數據計算處理，進而直接從數據中生成洞察力和價值，以釋放更多數據的潛能。

　　什么是計算存儲，它為什么重要?

　　所謂的“計算存儲”就是讓存儲設備更加智能，可以直接在存儲數據的地方進行數據處理。這種方法減少了大量數據向外部處理設備的傳輸，同時帶來了無數個的好處，包括減少時延和帶寬使用、提高安全性和節(jié)能。換句話說，數據處理的工作負載將直接在存儲控制器本身上進行。

　　對于許多機器學習或分析應用程序、以及物聯(lián)網和邊緣計算的其他用例來說，計算存儲的應用對于它們在實現(xiàn)實時處理方面的要求至關重要。以物聯(lián)網的用例來看，隨著物聯(lián)網設備部署數量的加速，這些設備也迅速產生大量原始且非結構化的數據。由于物聯(lián)網設備部署遍布世界各個角落，傳感器日趨復雜，將所有數據傳輸到云數據中心進行存儲和處理不僅非常昂貴，而且是一種浪費，因為并非所有獲取的數據都會能帶來價值。

　　舉個例子，一個大型停車場的監(jiān)控攝像頭系統(tǒng)記錄了每輛汽車的車牌號和進出時間，以便對停車時間進行計費，同時也確保安全。這個案例里面重要的信息之一是車牌號碼，而無論汽車是否進入或離開停車場，將所有大圖像或視頻流傳輸到遠端服務器進行圖像處理是非常低效的做法。

　　應用了計算存儲之后，每個攝像頭都將視頻或圖片傳輸到本地的存儲盤內，然后盤內自帶的計算功能就能直接識別出車牌號碼。通過在存儲盤上直接進行機器學習和圖像識別，并且只將從原始數據中提取的有價值信息——車牌號碼和進出場時間，傳輸給遠端服務器，計算存儲極大地提高了信息處理的效率，減少網絡帶寬的浪費。此外，如果停車場中有多個攝像頭，每個攝像頭都有多個存儲盤，那么攝像頭越多，存儲盤就越多，因地制宜的計算也就越多。如此一來，整個信息處理系統(tǒng)就變得更高效且可擴展性更高。

　　計算存儲還能在其他應用場景也施展威力，例如：

　　· 數據庫加速：直接在數據上執(zhí)行操作

　　· 卸載：直接在數據上進行壓縮/加密/編碼/重復數據刪除等

　　· 內容分發(fā)網絡(CDN)：輕松實現(xiàn)非常本地化的內容分發(fā)

　　· 人工智能/機器學習：直接從海量數據中生成洞察

　　· 邊緣計算：一個運行Linux的計算存儲盤(Computational Storage Drive, CSD)，自身就是一個獨立的小型服務器

　　· 圖像分類：直接在數據存儲的位置進行元標記

　　· 視頻：對大型圖像、視頻、多媒體文件進行本地處理分析，以提取有價值的信息

　　· 運輸/車載：直接處理交通工具中存儲的遙測數據

　　傳統(tǒng)的存儲盤內的數據必須從設備端傳輸到服務器，才能借助服務器內的計算單元進行數據處理分析，這樣的做法不僅需要額外的時間、精力、帶寬和時延，同時增加了數據泄露的風險——在數據傳輸的過程中可能發(fā)生未經授權的訪問。

　　同時，如果這些系統(tǒng)與服務器連接的回程線路，其帶寬有限或價格昂貴，那么計算存儲更能進一步顯著降低總擁有成本(TCO)。額外的好處包括：

　　· 更快的響應時間和更低的時延：將智能性移動至所需之處，可實現(xiàn)近乎實時的結果交付。數據不再需要通過協(xié)議封裝，然后通過路由器和交換機移動和復制，在服務器上解包后才能進行處理

　　· 節(jié)省帶寬，降低能耗：減少數據傳輸意味著節(jié)省寶貴的帶寬資源，防止網絡擁塞，并且降低設備能耗和熱能產生

　　· 安全與隱私：原始數據留在本地存儲盤上，不再向外傳輸，而只是將數據分析的結論返回，降低數據泄露的風險

　　· 擴展性：由于計算直接在存儲盤上進行，增添更多的存儲盤也同時增加了對本地數據進行處理分析的能力。

　　計算存儲是如何工作?

　　計算存儲盤(CSD)是一種提供持久數據存儲和計算服務的存儲設備。它通過計算和存儲功能的耦合，在本地數據上運行應用程序，減少遠程服務器上所需的處理工作負載以及數據的傳輸。為此，CSD的處理器是專用于直接處理CSD上的數據，從而讓遠程主機的處理器得以處理其他任務。

　　以下是傳統(tǒng)的存儲系統(tǒng)與采用計算存儲系統(tǒng)的不同數據計算處理流程。

　　特定領域架構(Domain-Specific Architecture, DSA)、異構計算(Heterogeneous Computing)和計算存儲

　　實現(xiàn)計算存儲的方法有很多種，但關鍵的要求是在存儲控制器中嵌入處理的能力。說到數據處理以及計算能力，CPU處理器自然是首當其沖。CPU作為通用處理器，是個名副其實的“通才”，擅長執(zhí)行指令運算和數值運算。CPU適用于各種工作負載，尤其是那些對延遲或每核性能很重要的工作負載。作為一個強大的執(zhí)行引擎，CPU將其較少數量的內核集中在單個任務和快速完成任務上。這使得它非常適合從串行計算到運行數據庫的工作。另外，CPU編程容易、生態(tài)成熟、擁有豐富的工具鏈和廣泛的開發(fā)者支持，尤其是在計算存儲方興未艾，跑在CSD上的應用負載還不明確和成熟的情況下，CPU可以給予計算存儲系統(tǒng)更多的靈活性。

　　特殊領域的加速器是計算和數據處理領域的“專才”，對于特定領域的應用和負載能提供顯著的性能和效率的提升。在選擇特殊領域的加速器的時候，需要特別注意兩點：一是實際部署或者計劃部署在CSD上的應用負載與加速器適合的負載匹配;二是編程的便利性，是否能夠賦能廣大的軟件開發(fā)人員來利用加速器所帶來的收益。

　　Linux促進計算存儲的實現(xiàn)

　　實現(xiàn)計算存儲的方法有很多種，但關鍵的要求是在存儲控制器中嵌入處理的能力，使其可以運行功能豐富的操作系統(tǒng)，例如Linux和軟件組件。如此一來，可以帶來以下這些好處：

　　· 擁有龐大Linux開發(fā)者社區(qū)的開源軟件

　　具有龐大Linux開發(fā)者社區(qū)和行業(yè)廣泛使用的標準工具的開源軟件能讓開發(fā)體驗更加輕松。通過創(chuàng)建工作負載，開發(fā)者可以使用駕輕就熟的開發(fā)方式來構建遵循SNIA的標準的軟件程序，并采用基于Linux的標準系統(tǒng)將其部署到存儲設備，這不僅簡化了系統(tǒng)，并且讓軟件開發(fā)更為輕松便捷。

　　· 易用的工具

　　感謝Linux開源生態(tài)的的豐富資源，開發(fā)者獲取廣大的工具、文檔和支持易如反掌，從而可以更順暢地開發(fā)、部署以及管理計算存儲工作負載。如此一來，開發(fā)者能快速將當前模式下運行在計算節(jié)點上的功能模塊遷移至計算存儲盤上。

　　· 啟動智能存儲

　　在標準的NVMe盤中，由于存儲控制器并不理解所處理的數據的內容和屬性，而是純粹把數據塊當作黑盒來處理，所以難以實現(xiàn)數據的智能管理。在當前模式下，存儲控制器對接收到的數據塊進行拆分，然后將它們存儲在NAND晶粒中的頁面。當服務器發(fā)送數據塊的請求時，存儲控制器會從NAND取出數據，將它們重新組裝成數據塊，再傳輸送回服務器。由于存儲控制器不了解文件系統(tǒng)，所以它對這些數據塊的構成也一無所知，不管是JPEG圖像，還是Word文檔，還是可執(zhí)行文件，處理方式都一視同仁。而運行Linux的存儲盤可以掛載標準文件系統(tǒng)，使智能存儲成為可能，同時CSD的應用程序能了解數據塊實際代表哪些文件，并可根據文件類型和屬性直接在數據上執(zhí)行相應操作。

　　· 存儲盤就等于一臺迷你服務器

　　運行Linux的存儲盤能通過現(xiàn)有的標準開源系統(tǒng)進行硬盤的管理、工作負載的開發(fā)以及新工作負載的下載。它用最低的成本將存儲盤變成了一個迷你服務器。

　　現(xiàn)在您可能不禁想著：難道Linux真的能在計算存儲中被采用嗎?這個問題的答案是肯定的。這樣的操作系統(tǒng)不會過大嗎?這個問題的答案是否定的。

　　當今的存儲盤已經擁有數個GB的RAM和數個TB的存儲空間，并具備處理進出存儲盤的大量數據移動的高性能計算的能力。一般提到Linux，大家可能會聯(lián)想到在大型服務器中安裝的大型軟件，并不適用于嵌入式設備端的存儲、安裝和運行，但相比于大型服務器，在存儲設備上，我們對Linux的要求要低得多，其軟件大小也能有顯著的縮減。

　　存儲設備上運行的Linux不再需要顯示驅動程序，其他部分功能也不適用，可以將之簡化并根據存儲控制器的需求進行定制，例如，Debian 9只需要512 MB的RAM和2 GB的存儲空間。

　　通過利用現(xiàn)在在復雜系統(tǒng)中使用的標準開源工具，我們可以進行CSD管理，例如利用Kubernetes、Docker或經過擴展的Berkeley Packet Filter(BPF)等常用工具，我們可以安全地下載和管理工作負載，以安全的方式執(zhí)行應用程序或腳本。

　　具計算能力的實時處理器

　　從處理器的角度思考，實現(xiàn)計算型存儲有幾種方式，最為常見的就是將Arm Cortex-A應用處理器嵌入固態(tài)硬盤控制器的芯片中，這樣的話，存儲處理器就可以直接支持Linux的運行，這是一個不錯的選擇。但是存儲設備對處理器的一個剛需是提供具有高確定性的實時行為，以保證數據搬運的速度和效率。為了顧全計算存儲設備所應該具備的實時響應與計算能力，Arm在實時處理器Cortex-R系列開發(fā)出支持64位與Linux支持能力的Cortex-R82，與過去應用于存儲設備的其他Cortex-R系列產品相比，最高可達到2倍的性能提升。Cortex-R82還可以加載Arm Neon技術，使存儲應用較低的時延運行包括機器學習等新的工作負載，并提供額外的加速。此外，Cortex-R82本身為64位架構，最高可以存取1 TB的DRAM，在數據量激增和存儲容量顯著提高的未來供存儲應用進行先進的數據處理。

　　存儲控制器傳統(tǒng)上是通過裸機/RTOS工作負載的運行，作為數據的存儲及存取;而Cortex-R82提供可選用的內存管理單元(Memory Management Unit, MMU)，讓功能豐富的操作系統(tǒng)在存儲控制器上直接運行，支撐起計算存儲的實現(xiàn)基石。

　　計算存儲的未來就在眼前

　　目前已有多家合作伙伴提供基于Arm 處理器的存儲設備，同時整個產業(yè)也在致力于讓所有存儲開發(fā)者和廠商能一致采用一種通用的實現(xiàn)方式。Arm 正積極地參與 SNIA 計算存儲技術工作小組，并攜手 45 家公司和 202 名成員合作定義標準。這項標準將消除碎片化和缺乏兼容性的風險，進一步加速計算存儲的發(fā)展與創(chuàng)新。