全閃存陣列是存儲(chǔ)未來 如何兼顧高性能與高可用性是關(guān)鍵
剛過去的天貓雙十一支付峰值為25.6萬筆/秒，數(shù)據(jù)庫處理峰值為4600萬次/秒；而一個(gè)證券交易平臺(tái)高峰期系統(tǒng)需要處理數(shù)萬甚至十幾萬筆交易，而這背后閃存的廣泛應(yīng)用功不可沒。但就存儲(chǔ)介質(zhì)性能而言，一個(gè)主流NVMe SSD的IOPS能夠達(dá)到50萬甚至接近100萬，延遲卻低于100μs，相對(duì)于IOPS只有不到200、延遲ms級(jí)的HDD，SSD推動(dòng)存儲(chǔ)介質(zhì)性能實(shí)現(xiàn)了質(zhì)的飛躍，而這之后，全閃存陣列應(yīng)運(yùn)而生。
從無到有 從有到優(yōu)的全閃存陣列
早期的全閃存陣列以Violin Memory以及TMS（后被IBM收購）為代表，其特點(diǎn)是通過復(fù)雜的硬件架構(gòu)實(shí)現(xiàn)設(shè)備的高性能，這兩家公司打開了全閃存陣列市場的大門，但是由于設(shè)備軟件功能不足，易用性較差最終走向衰落。此后主流存儲(chǔ)廠商開始嘗試改良自己的磁盤陣列推出全閃存或者混合陣列，這樣的陣列借助原有存儲(chǔ)系統(tǒng)成熟的架構(gòu)能夠很好的服務(wù)于上層業(yè)務(wù)，但是閃存與磁盤特性上有著本質(zhì)的不同，所以這樣的產(chǎn)品在性能上有著無法突破的瓶頸。
隨著閃存技術(shù)的不斷演進(jìn)，全閃存陣列的設(shè)計(jì)思路也越來越清晰，那就是既要有閃存的高性能又要具有傳統(tǒng)陣列豐富的軟件功能，如今閃存陣列已經(jīng)發(fā)展至第四代，以華為的OceanStor Dorado V3的全閃存陣列為代表。
從組件到系統(tǒng)級(jí)的技術(shù)革新 實(shí)現(xiàn)極限性能以及6個(gè)9高可用性
為了追求性能極限，華為從底層的SSD到上層的資源管理算法和系統(tǒng)都進(jìn)行了***針對(duì)性的設(shè)計(jì)。首先華為擁有自研的SSD控制器芯片，包括FTL在內(nèi)的SSD核心功能和算法都放在控制器芯片中實(shí)現(xiàn)，性能高并且不會(huì)過多占用系統(tǒng)CPU資源。
第二，基于FlashLinkTM的盤控配合技術(shù)，這項(xiàng)技術(shù)通過SSD驅(qū)動(dòng)與控制器軟件的配合，將數(shù)據(jù)更均勻的分配到每一塊SSD盤中，并根據(jù)SSD盤的狀態(tài)動(dòng)態(tài)調(diào)整分配算法。在此基礎(chǔ)上，磨損均衡以及垃圾回收等操作會(huì)更加高效，比如系統(tǒng)會(huì)定期向 SSD 控制器查詢盤片磨損程度，并將磨損程度高低作為分配空間的判斷依據(jù)之一，從而實(shí)現(xiàn)了全局的磨損均衡。
華為FlashLink盤控配合技術(shù)概述
華為OceanStor Dorado V3 的FlashLink是華為為全閃存陣列而設(shè)計(jì)的一系列算法集合，包含有大塊順序?qū)憽⒃獢?shù)據(jù)獨(dú)立分區(qū)以及I/O優(yōu)先級(jí)調(diào)整等技術(shù)。大塊順序?qū)?/strong>是指系統(tǒng)將多個(gè)離散的數(shù)據(jù)塊在控制器內(nèi)存中進(jìn)行聚合形成一個(gè)大數(shù)據(jù)塊，順序?qū)懭隨SD，如此可以減少SSD的垃圾塊；元數(shù)據(jù)獨(dú)立存放指可控制器可以自動(dòng)感知硬盤內(nèi)的數(shù)據(jù)布局，在控制器和SSD盤內(nèi)同步執(zhí)行元數(shù)據(jù)與數(shù)據(jù)的分離存放操作；FlashLink還會(huì)對(duì)I/O優(yōu)先級(jí)別進(jìn)行了標(biāo)識(shí)并進(jìn)行智能調(diào)整。數(shù)據(jù)讀寫請(qǐng)求高于Cache批量寫、硬盤重構(gòu)等I/O,保障優(yōu)先的業(yè)務(wù)數(shù)據(jù)讀寫在***順序響應(yīng)。
在FlashLink以及高性能的SSD支持下，華為OceanStor Dorado V3可以實(shí)現(xiàn)400萬IOPS，0.5ms穩(wěn)定時(shí)延。另一方面，高性能的基礎(chǔ)上，高可靠和高可用是全閃存陣列的必備特性。華為OceanStor Dorado V3全閃存陣列可以實(shí)現(xiàn)6個(gè)9高可用性，并且允許3盤同時(shí)失效，實(shí)現(xiàn)如此高標(biāo)準(zhǔn)的可用性，依靠的是華為全面的數(shù)據(jù)保護(hù)技術(shù)。
首先華為SSD的MTBF可以達(dá)到業(yè)界***的300萬小時(shí)，擁有LDPC以及SSD內(nèi)部RAID等高可靠技術(shù)。
其次，華為的RAID-TP技術(shù)采用每個(gè)條帶生成 3 個(gè)校驗(yàn)數(shù)據(jù)，允許同一RAID組內(nèi)3塊盤失效，重構(gòu)1TB數(shù)據(jù)時(shí)間在30分鐘以內(nèi)。
方案層面，華為OceanStor Dorado V3可以提供免網(wǎng)關(guān)雙活解決方案，這一方案支持兩個(gè)數(shù)據(jù)中心的存儲(chǔ)同一個(gè) LUN 支持業(yè)務(wù)同時(shí)讀寫，正常情況下提供業(yè)務(wù)負(fù)載分擔(dān)部署，實(shí)現(xiàn)跨數(shù)據(jù)中心的業(yè)務(wù)負(fù)載均衡。免網(wǎng)關(guān)的設(shè)計(jì)使得系統(tǒng)組網(wǎng)簡單，容易部署；減少一個(gè)故障點(diǎn)，可靠性更好；同時(shí)避免了網(wǎng)關(guān)設(shè)備額外引入的約1~1.6ms的時(shí)延，性能更好。
如果說高性能與高可靠是全閃存陣列的必備特性，那么重復(fù)數(shù)據(jù)刪除、便捷的管理以及靈活部署則是全閃存陣列的升級(jí)版亮點(diǎn)。華為OceanStor Dorado V3一大亮點(diǎn)就是重復(fù)數(shù)據(jù)刪除功能。
華為OceanStor Dorado V3在數(shù)據(jù)庫和虛擬化場景下數(shù)據(jù)縮減承諾
用戶數(shù)據(jù)進(jìn)入系統(tǒng)后，Cache 先緩存數(shù)據(jù)，此時(shí)系統(tǒng)會(huì)對(duì)數(shù)據(jù)進(jìn)行分塊（默認(rèn)為8K），接著生成數(shù)據(jù)塊指紋并與系統(tǒng)指紋數(shù)據(jù)進(jìn)行對(duì)比，沒有相同的指紋則將數(shù)據(jù)塊寫到SSD上并記錄新指紋，當(dāng)比對(duì)成功，就不再進(jìn)行數(shù)據(jù)落盤操作，而是增加指紋計(jì)數(shù)。需要指出的是在線重復(fù)數(shù)據(jù)刪除不會(huì)影響OceanStor Dorado V3的性能，當(dāng)前所有OceanStor Dorado V3的測試數(shù)據(jù)也是在這項(xiàng)功能開啟時(shí)測得的。
華為OceanStor Dorado V3作為新一代全閃存陣列，從組件到系統(tǒng)都是針對(duì)閃存特性而設(shè)計(jì)，性能與可靠性都能全面滿足數(shù)據(jù)庫、虛擬桌面等企業(yè)級(jí)應(yīng)用需求，同時(shí)OceanStor Dorado V3處于華為聯(lián)手云計(jì)算、存儲(chǔ)、操作系統(tǒng)、網(wǎng)絡(luò)以及系統(tǒng)集成商等合作伙伴打造的完整生態(tài)之中，客戶可以借助這一生態(tài)平滑的將自己的業(yè)務(wù)遷至全閃存陣列上。
未來，華為將把新存儲(chǔ)介質(zhì)（比如SCM）、NVMe over Fabrics等技術(shù)全面融入到全閃存陣列中，推動(dòng)數(shù)據(jù)中心全面進(jìn)入全閃存時(shí)代。
全文結(jié)束--
