2017年12月2日，華為云技術(shù)私享會第四期 – 云存儲專場在北京3W咖啡舉辦。來自華為云存儲團隊的大咖們分享了華為云存儲的技術(shù)實踐歷程、高性能分布式存儲架構(gòu)剖析，以及時下熱門的專屬存儲方案。同時，來自Veritas的專家也帶來了多云環(huán)境下的挑戰(zhàn)以及應(yīng)對方案。

華為云分布式存儲的三次關(guān)鍵選擇

做好基礎(chǔ)架構(gòu)、高性能和高擴展性只是***步，穩(wěn)定可靠才是存儲系統(tǒng)的生命線。FusionStorage的高可靠來自于“內(nèi)外兼修”：在外部，全球金融、能源、運營商以及政府等600多家行業(yè)客戶選用FusionStorage，總計EB級容量的規(guī)模商用過程中積累了大量寶貴的可靠性經(jīng)驗；在內(nèi)部，云存儲團隊組建了一支專業(yè)的藍(lán)軍，不斷打破假設(shè)，考慮人為誤刪、元數(shù)據(jù)損壞等極端因素，持續(xù)鞏固可靠性。

“華為云分布式存儲FusionStorage自研發(fā)上線至今，已經(jīng)經(jīng)歷了7年歷程。其中有三次非常關(guān)鍵的選擇。”華為云存儲服務(wù)總監(jiān)石勝兵開場介紹。

1. 放棄一套架構(gòu)同時支持塊、文件和對象，先聚焦把塊做好，同時創(chuàng)新自研強一致性協(xié)議，追求***穩(wěn)定時延；
2. 從超融合轉(zhuǎn)向聚焦云服務(wù)，以云服務(wù)的方式提供存儲資源和性能；
3. 延后如重刪壓縮、雙活、同步、異步等企業(yè)特性的交付，聚焦在云所需要的高擴展性和大規(guī)模集群的可靠性。

“這三次決策讓FusionStorage堅定地選擇了云，把面向云的架構(gòu)做好，把性能、擴展性和可靠性做好；同時在軟硬結(jié)合上不斷創(chuàng)新，追求***穩(wěn)定性能，如實現(xiàn)SSD cache、率先支持56G Infinite Band。” 石勝兵表示。

華為云存儲服務(wù)總監(jiān)石勝兵

華為云高性能分布式存儲架構(gòu)如何做到穩(wěn)定低時延？

活動當(dāng)天，華為云存儲資深架構(gòu)師張志樂，從架構(gòu)的三方面深度剖析了華為云存儲如何做到了穩(wěn)定低時延：***，復(fù)制和數(shù)據(jù)路由技術(shù)對分布式存儲系統(tǒng)性能起到?jīng)Q定性作用。華為分布式存儲采用強一致性以及DHT路由，因為強一致性時刻保證所有副本的數(shù)據(jù)都是***的，使用數(shù)據(jù)時只需讀取主副本，時延比最終一致性更低；元數(shù)據(jù)路由在數(shù)據(jù)量增長時索引會急劇增多，而DHT路由和數(shù)據(jù)量無關(guān)，性能上沒有長尾效應(yīng)。

第二，存儲介質(zhì)以及網(wǎng)絡(luò)方面的優(yōu)化。SSD的垃圾回收機制會引入寫放大，極端情況下時延增大10倍；大規(guī)模集群下多對多數(shù)據(jù)傳輸，RDMA網(wǎng)絡(luò)擁塞問題突出。華為分布式存儲實現(xiàn)了多流分離以及軟件主動Trim，有效避免了無效的數(shù)據(jù)搬移，提高IO效率的同時，延長SSD的壽命；時刻監(jiān)控網(wǎng)卡故障以及交換機故障，在觸發(fā)PFC風(fēng)暴之前及時切換業(yè)務(wù)，避免網(wǎng)絡(luò)擁塞引起的雪崩效應(yīng)。

第三，好的架構(gòu)必須通過好的代碼實現(xiàn)落地。基于異步線程pipeline的線程調(diào)度需要多輪等待喚醒，IO耗時久。華為分布式存儲使用polling模式，網(wǎng)絡(luò)上通過RMDA輪詢或者DPDK輪詢，節(jié)省內(nèi)核到用戶態(tài)的拷貝和切換；磁盤上通過SPDK，減少中斷和切換，最終實現(xiàn)無線程上下文切換、無中斷、零等待，大幅提高IO效率。

華為云存儲資深架構(gòu)師張志樂

對公有云的性能而言，僅僅做到以上三點仍不夠，還必須通過QoS機制做多租戶隔離，用戶的性能SLA才能得到保證。華為云存儲提供QoS機制，并且在中國區(qū)獨家提供Burst能力，使得小容量云硬盤在短時間內(nèi)獲得性能突發(fā)。

接下來的現(xiàn)場演示，展現(xiàn)了華為云存儲的三項能力：

1. 普通IO云硬盤，沒有QoS限制能跑到92000+IOPS，通過QoS限制在穩(wěn)定1000 IOPS；
2. 100 GB高IO云硬盤，借助Burst能力能保持在3000 IOPS半小時以上；
3. 共享云硬盤性能線性增長，16掛載點情況下所有掛載點均有20000+IOPS。

華為云專屬存儲方案：魚與熊掌兼得的***實踐

然而，云時代下，企業(yè)自建機房運維難度大、成本高、成本高昂，擴容周期長，企業(yè)正積極向公有云或混合云轉(zhuǎn)型。

對于數(shù)據(jù)安全性、合規(guī)性要求較高的政府、大型集團企業(yè)或金融機構(gòu)，對于專屬存儲的需求正持續(xù)走高。華為云獨家推出專屬存儲服務(wù)，提供私有云級別的物理隔離能力，保證數(shù)據(jù)安全性、合規(guī)性的同時，用戶可以通過服務(wù)化的方式按需按量購買，享受公有云的便利性。

華為云服務(wù)資深架構(gòu)師陳鐘平介紹了華為云專屬存儲服務(wù)有兩種產(chǎn)品形態(tài)：

DSS具有分布式存儲高并發(fā)、大帶寬以及靈活擴展的特性，能夠滿足云資源池、HPC以及OLAP等高并發(fā)應(yīng)用場景的需求。如某政府客戶利用DSS構(gòu)建專屬云，并將城市建筑工人的考勤系統(tǒng)遷移至其上，滿足數(shù)據(jù)存儲合規(guī)性，且節(jié)省了自建機房的運維成本。

DESS能夠提供0.5ms穩(wěn)定低時延，雙活特性保證6個9的業(yè)務(wù)可用性，支撐Oracle RAC、SAP HANA等企業(yè)核心數(shù)據(jù)庫平滑上云。如某知名企業(yè)考慮到數(shù)據(jù)安全性以及業(yè)務(wù)可用性，決定采用DESS替代企業(yè)高端SAN存儲，配合BMS裸金屬服務(wù)器，將核心業(yè)務(wù)系統(tǒng)平滑遷移上云，然后利用VPC將通用資源區(qū)已有的云上業(yè)務(wù)打通，實現(xiàn)公司整體業(yè)務(wù)上云。

華為云服務(wù)資深架構(gòu)師陳鐘平

多云環(huán)境下的挑戰(zhàn)以及解決方案

未來即將走向多云的時代，但由于現(xiàn)在公有云行業(yè)標(biāo)準(zhǔn)化和開放度并不成熟，管理者在做多云部署以及管理的時候往往要面對很多風(fēng)險和成本，比如數(shù)據(jù)遷移，在相同技術(shù)堆棧之間做遷移都有技術(shù)挑戰(zhàn)，遑論在不同公有云的不同技術(shù)堆棧之間遷移大量數(shù)據(jù)。同時，大家現(xiàn)在對一些關(guān)鍵問題的認(rèn)識還比較模糊，比如說數(shù)據(jù)在多個云之間流動，這個職責(zé)是不是云服務(wù)提供商應(yīng)該做的，這里邊有沒有數(shù)據(jù)管理以及安全的問題，等等。

Veritas一直在作為第三方技術(shù)供應(yīng)商解決平臺之間的差異問題，這個戰(zhàn)略也會延伸到未來的多云時代里。不同的云之間，數(shù)據(jù)管理、服務(wù)遷移以及業(yè)務(wù)連續(xù)性等問題，本質(zhì)上都是云平臺之間的差異問題，都是Veritas致力去幫用戶解決的。

在未來IT世界，數(shù)據(jù)將會是比基礎(chǔ)設(shè)施更重要的資產(chǎn)，但數(shù)據(jù)的合規(guī)和治理帶來的挑戰(zhàn)一直被大家低估。“歐盟即將出臺把數(shù)據(jù)管理權(quán)力回歸個人的法律，比方說用戶可以要求互聯(lián)網(wǎng)平臺將其個人相關(guān)數(shù)據(jù)全部清除，即所謂的‘數(shù)據(jù)遺忘權(quán)’，這里面隱含了一系列數(shù)據(jù)合規(guī)性的管理，如果數(shù)據(jù)沒有刪除，罰責(zé)將會是該公司全年產(chǎn)值的4%。” Veritas解決方案專家殷劍介紹。“Veritas在數(shù)據(jù)合規(guī)性管理上有很長一段時間的積累，能夠做到智能識別個人用戶的數(shù)據(jù)，并在這基礎(chǔ)上做管理和服務(wù)。”

Veritas的VRP管理平臺能夠預(yù)測用戶的服務(wù)是否能部署、運營在另一個云平臺上，并且滿足合規(guī)性；也可以在不中斷業(yè)務(wù)的前提下，將數(shù)據(jù)在多個云之間做遷移。但要真正解決多云的問題，我們還面臨著很多挑戰(zhàn)，因為每個公有云都在進(jìn)行劇烈的迭代和演進(jìn)，Veritas也在緊跟時代的步伐，與主流公有云廠商一起努力，讓用戶在多云環(huán)境上部署、管理業(yè)務(wù)更加便捷和高效。華為與Veritas長久以來有深入的合作關(guān)系，雙方目前在容災(zāi)備份方面有密切合作，將來會延伸至多云管理等更多解決方案。

Veritas解決方案專家殷劍

活動當(dāng)天，華為云存儲團隊的專家們就分布式存儲技術(shù)實現(xiàn)、公有云運維和容災(zāi)等問題與參會觀眾進(jìn)行了深入探討。提問時間現(xiàn)場氣氛持續(xù)熱烈，直到散會時間仍有多名熱情觀眾留下與專家互動交流。上

除了線下面對面交流，大家還可以通過華為云社區(qū)與大咖線上互動，時間地點不再受限，還能找到志同道合的朋友，共同進(jìn)步。

華為云技術(shù)私享會系列活動還將會在上海、深圳等地陸續(xù)開展，覆蓋更多的服務(wù)以及解決方案，為大家?guī)砀嗳A為云服務(wù)的技術(shù)干貨分享，敬請期待！

請點擊此鏈接了解華為云更多產(chǎn)品：http://www.huaweicloud.com/product/