本文將基于云原生和企業(yè)云架構(gòu)體系的視角，分析如何構(gòu)建云存儲演練的標(biāo)準(zhǔn)體系，通過云存儲幾種常見的高可用容災(zāi)技術(shù)，梳理在不同故障場景下的應(yīng)急切換流程，建立符合云存儲標(biāo)準(zhǔn)的應(yīng)急預(yù)案。　　

一、云存儲演練的必要性分析

云存儲演練的重要性

隨著云計(jì)算技術(shù)的推廣，云存儲逐漸成為一種有效解決企業(yè)海量數(shù)據(jù)存儲和管理問題的方式。針對企業(yè)日常生產(chǎn)過程中產(chǎn)生的不同類型非結(jié)構(gòu)化數(shù)據(jù)，企業(yè)可選擇相應(yīng)類型的云存儲（包括文件存儲、對象存儲、塊存儲等），對非結(jié)構(gòu)化數(shù)據(jù)進(jìn)行統(tǒng)一存儲和管理。利用分布式存儲架構(gòu)所提供的的軟件即存儲能力，幫助企業(yè)構(gòu)建了云服務(wù)的基礎(chǔ)系統(tǒng)服務(wù)層，為云上各類的微服務(wù)應(yīng)用提供了云存儲和云共享服務(wù)。

針對云存儲及云平臺的基礎(chǔ)設(shè)施建立應(yīng)急切換演練機(jī)制，能夠顯著提升企業(yè)處理信息安全事件響應(yīng)能力、降低和預(yù)防發(fā)生信息安全事件產(chǎn)生的損失，保障業(yè)務(wù)連續(xù)性。針對企業(yè)核心數(shù)據(jù)、核心存儲設(shè)備，建立一整套完善的應(yīng)急預(yù)案，構(gòu)建應(yīng)急處置機(jī)制，并驗(yàn)證應(yīng)急保障預(yù)案的有效性等環(huán)節(jié)，已經(jīng)成為業(yè)務(wù)連續(xù)性中重要環(huán)節(jié)。

云存儲VS傳統(tǒng)存儲

云存儲相較于傳統(tǒng)的存儲架構(gòu)，云存儲的容災(zāi)服務(wù)通常包括為彈性云計(jì)算資源、云硬盤設(shè)備、分布式存儲設(shè)備等服務(wù)提供容災(zāi)的服務(wù)。這些服務(wù)不僅為上層應(yīng)用提供了更為靈活的軟硬件一體化部署模式，同時(shí)也兼具更加健壯的高可用模式，尤其是在開展應(yīng)急演練方面：可以基于現(xiàn)有云上的業(yè)務(wù)策略，按需配置云服務(wù)器、云存儲的保護(hù)實(shí)例。并通過存儲同步復(fù)制技術(shù)、磁盤映射技術(shù)、數(shù)據(jù)緩存冗余等技術(shù)構(gòu)建云存儲的高可用性，為業(yè)務(wù)提供數(shù)據(jù)的可靠性以及業(yè)務(wù)連續(xù)性，從而確保容災(zāi)備份的RPO為0，在演練過程中，云存儲將彈性云服務(wù)器的數(shù)據(jù)、配置信息復(fù)制到容災(zāi)站點(diǎn)，并支持應(yīng)用所在的服務(wù)器停機(jī)期間從另外的位置啟動(dòng)并正常運(yùn)行，從而提升業(yè)務(wù)連續(xù)性，相比于傳統(tǒng)存儲，基于云存儲的容災(zāi)方式，能夠更好的降低容災(zāi)建設(shè)成本。

二、云存儲應(yīng)急場景及標(biāo)準(zhǔn)體系建設(shè)

云存儲切換演練及場景建設(shè)

根據(jù)企業(yè)業(yè)務(wù)連續(xù)性相關(guān)要求，結(jié)合云存儲的特點(diǎn)和現(xiàn)狀，對應(yīng)急演練的內(nèi)容、實(shí)施過程以及預(yù)期效果，梳理云存儲的應(yīng)急演練特別應(yīng)該注意以下幾個(gè)方面：

首先，確立組織演練規(guī)劃小組，并確定演練范圍及周期：前期的演練會盡量降低復(fù)雜度，在零風(fēng)險(xiǎn)的前提下進(jìn)行多次小規(guī)模演練，提升管理人員的災(zāi)難恢復(fù)能力。

設(shè)計(jì)演練場景并制定恢復(fù)策略：針對應(yīng)急預(yù)案設(shè)立不同的演練場景及相應(yīng)的恢復(fù)策略。

最后進(jìn)行實(shí)戰(zhàn)演練及總結(jié)：監(jiān)控并記錄整個(gè)恢復(fù)過程，驗(yàn)證災(zāi)難恢復(fù)流程及備份數(shù)據(jù)的有效性。

構(gòu)建基于云架構(gòu)的演練標(biāo)準(zhǔn)體系

由于基于云架構(gòu)的業(yè)務(wù)平臺，采用分布式計(jì)算機(jī)存儲系統(tǒng)，天然形成了數(shù)據(jù)冗余存儲、具有自動(dòng)恢復(fù)機(jī)制，提高了存儲數(shù)據(jù)抵抗外界諸如硬件故障、單臺存儲設(shè)備故障等不可抗風(fēng)險(xiǎn)。因此，在構(gòu)建基于云架構(gòu)的演練標(biāo)準(zhǔn)體系方面，要投入更多的關(guān)注， 覆蓋基礎(chǔ)設(shè)施到應(yīng)用層，底層環(huán)境（物理機(jī)、虛擬機(jī)、容器）及操作系統(tǒng)（Linux、Windows）、應(yīng)用容器編排等方面。作者認(rèn)為構(gòu)建基于云存儲的演練體系應(yīng)至少應(yīng)包括：

(1)明確云存儲突發(fā)事件應(yīng)急各環(huán)節(jié)中的角色和責(zé)任，提高云存儲各項(xiàng)響應(yīng)和操作能力; 在關(guān)注云架構(gòu)環(huán)境中，傳統(tǒng)的存儲設(shè)備管理員轉(zhuǎn)變成devops開發(fā)運(yùn)維工程師，對存儲的運(yùn)維也從硬件層面轉(zhuǎn)變?yōu)閷?yīng)用和微服務(wù)的支撐。

(2)利用多手段組合的方式，構(gòu)建云存儲應(yīng)急演練手段技術(shù)體系; 利用真實(shí)可模擬的微服務(wù)存儲故障等突發(fā)事件應(yīng)急環(huán)境來訓(xùn)練參演人員，增強(qiáng)參演人員的心適應(yīng)能力和調(diào)整能力，縮短突發(fā)事件應(yīng)急現(xiàn)場的適應(yīng)期;

(3)明確云存儲在應(yīng)急演練各環(huán)節(jié)關(guān)鍵的功能要素，包括SSD云盤的IOPS、吞吐量和訪問時(shí)延。并據(jù)此從定性和量化兩個(gè)方面構(gòu)建科學(xué)的演練效果評估指標(biāo)體系;

(4)針對現(xiàn)行傳統(tǒng)存儲的應(yīng)急預(yù)案、政策法規(guī)及應(yīng)急流程進(jìn)行測試和評估，發(fā)現(xiàn)缺點(diǎn)和薄弱環(huán)節(jié)并進(jìn)行針對性改進(jìn); 發(fā)現(xiàn)應(yīng)急資源準(zhǔn)備和保障的缺點(diǎn)和薄弱環(huán)節(jié);改進(jìn)各個(gè)環(huán)節(jié)所涉及組織機(jī)構(gòu)之間的協(xié)調(diào)和溝通能力;

以云原生思維拓寬演練領(lǐng)域

分布式云存儲日益復(fù)雜，演練領(lǐng)域的確定，也需要拓寬思路，考慮到諸多傳統(tǒng)架構(gòu)中不存在的不確定因素。比如，機(jī)器高負(fù)載、網(wǎng)絡(luò)異常、磁盤 IO、節(jié)點(diǎn)調(diào)度等故障，以及云平臺自身的資源、應(yīng)用服務(wù)、容器以及基礎(chǔ)設(shè)施各環(huán)節(jié)導(dǎo)致的問題。

以國內(nèi)某云存儲為例，分析云存儲相關(guān)的各層次下常見故障場景：

基于上述的故障場景，云存儲的容錯(cuò)機(jī)制通常包括：

云磁盤緩存

將數(shù)據(jù)緩存在云磁盤中，對常用的數(shù)據(jù)進(jìn)行備份，因此，當(dāng)用戶再次訪問同一數(shù)據(jù)時(shí)，就從緩存中訪問，大大縮短了訪問時(shí)間。在云存儲容災(zāi)中，將數(shù)據(jù)信息緩存在容災(zāi)系統(tǒng)中，可以實(shí)現(xiàn)對數(shù)據(jù)的備份和快速恢復(fù)。

其中，數(shù)據(jù)容災(zāi)的緩存技術(shù)，通常有2種實(shí)現(xiàn)方式：

第一，本地容災(zāi)磁盤的飽和計(jì)算，該種方法是指通過對單位時(shí)間內(nèi)數(shù)據(jù)恢復(fù)的次數(shù)進(jìn)行統(tǒng)計(jì)與計(jì)算，替換恢復(fù)次數(shù)較少的數(shù)據(jù)塊；

第二，對異地?cái)?shù)據(jù)信息的恢復(fù)計(jì)算，所謂的異地?cái)?shù)據(jù)信息恢復(fù)計(jì)算是指，通過單位時(shí)間內(nèi)數(shù)據(jù)塊恢復(fù)的次數(shù)確定是否對異地?cái)?shù)據(jù)塊進(jìn)行替換。

映射技術(shù)

映射技術(shù)在一般情況下對云磁盤和程序管理之間形成的映射關(guān)系進(jìn)行處理，它是完成信息儲存的主要技術(shù)，映射關(guān)系的出現(xiàn)導(dǎo)致了數(shù)據(jù)的自動(dòng)遷移，而自動(dòng)遷移是由一種指令的觸發(fā)而形成的自動(dòng)化操作，如：數(shù)據(jù)的自動(dòng)保存、復(fù)制和粘貼、刪除。

當(dāng)云磁盤遭到損壞后，將映射技術(shù)應(yīng)用到數(shù)據(jù)容災(zāi)中，容災(zāi)系統(tǒng)就會自動(dòng)接收到該項(xiàng)指令，并對相關(guān)數(shù)據(jù)進(jìn)行映射操作。在使用映射技術(shù)時(shí)，還可對磁盤的透明進(jìn)行替換，建立云存儲環(huán)境，然后在云存儲環(huán)境中將映射的數(shù)據(jù)進(jìn)行多項(xiàng)復(fù)制和備份到容災(zāi)系統(tǒng)中，同時(shí)，為了避免磁盤的損壞導(dǎo)致數(shù)據(jù)的永久不可還原性，在數(shù)據(jù)備份的過程中可以同時(shí)創(chuàng)建多個(gè)副本。

存儲鏈路冗余

由于數(shù)據(jù)容災(zāi)系統(tǒng)涉及主節(jié)點(diǎn)與冗余備份節(jié)點(diǎn)，因此將它們連接起來的互聯(lián)技術(shù)在容災(zāi)中十分重要。目前，主節(jié)點(diǎn)與冗余備份節(jié)點(diǎn)之間的連接主要是光纖通道連接，主要是基于SAN的遠(yuǎn)程復(fù)制，即通過光纖通道FC，把2個(gè)SAN連接起來，進(jìn)行遠(yuǎn)程復(fù)制。當(dāng)災(zāi)難發(fā)生時(shí)，由備份數(shù)據(jù)中心替代主數(shù)據(jù)中心保證系統(tǒng)工作的連續(xù)性，這種遠(yuǎn)程容災(zāi)備份方式存在的一些缺陷是：實(shí)現(xiàn)成本高，設(shè)備的互操作性差。

數(shù)據(jù)連續(xù)性保護(hù)(CDP)

Continuous Data Protection（CDP）是一個(gè)實(shí)時(shí)的數(shù)據(jù)備份系統(tǒng)，它自動(dòng)將應(yīng)用數(shù)據(jù)的所有變化實(shí)時(shí)記錄下來。它的關(guān)鍵是將每一個(gè)應(yīng)用數(shù)據(jù)的變化加上了時(shí)間索引。這樣，當(dāng)出現(xiàn)數(shù)據(jù)丟失、數(shù)據(jù)損壞或者安全問題時(shí)，就可能恢復(fù)到最近的完好數(shù)據(jù)。CDP技術(shù)不斷進(jìn)步，在數(shù)據(jù)損耗的情況下，其允許快速的數(shù)據(jù)恢復(fù)，并把數(shù)據(jù)還原到生命周期任一指定點(diǎn)。

三、云存儲演練流程及應(yīng)急預(yù)案的建立

完善演練程序流程

目前在傳統(tǒng)架構(gòu)的應(yīng)急演練流程中，企業(yè)已意識到應(yīng)急演練的重要作用，希望通過演練提升自身的應(yīng)急響應(yīng)能力。然而在云存儲也缺少規(guī)范化的演練程序，容易出現(xiàn)演練方案不合理、演練腳本不細(xì)致、人員培訓(xùn)不到位、保障準(zhǔn)備不充分等問題，導(dǎo)致云存儲的演練質(zhì)量達(dá)不到預(yù)期要求。針對此問題，應(yīng)針對云架構(gòu)的特點(diǎn)，探討演練持續(xù)改進(jìn)方法和流程，設(shè)計(jì)一套演練程序管理體系，實(shí)現(xiàn)從規(guī)劃、設(shè)計(jì)、實(shí)施到評估和改進(jìn)的全方位管理，逐步完善云存儲的應(yīng)急演練流程，使其更有效地驗(yàn)證應(yīng)急預(yù)案的科學(xué)性、可行性、有效性。

評估IaaS層、PaaS層是否健壯

通過模擬底層的基礎(chǔ)設(shè)施或者平臺資源負(fù)載，驗(yàn)證調(diào)度系統(tǒng)的有效性；模擬依賴的分布式存儲不可用，驗(yàn)證系統(tǒng)的容錯(cuò)能力；模擬調(diào)度節(jié)點(diǎn)不可用，測試調(diào)度任務(wù)是否自動(dòng)遷移到可用節(jié)點(diǎn)；模擬主備節(jié)點(diǎn)故障，測試主備切換是否正常。

衡量容器及微服務(wù)的容錯(cuò)能力

通過模擬調(diào)用延遲、服務(wù)不可用、機(jī)器資源滿載等，查看發(fā)生故障的節(jié)點(diǎn)或?qū)嵗欠癖蛔詣?dòng)隔離、下線，流量調(diào)度是否正確，預(yù)案是否有效，同時(shí)觀察系統(tǒng)整體的QPS或RT是否受影響。在此基礎(chǔ)上可以緩慢增加故障節(jié)點(diǎn)范圍，驗(yàn)證上游服務(wù)限流降級、熔斷等是否有效。最終故障節(jié)點(diǎn)增加到請求服務(wù)超時(shí)，估算系統(tǒng)容錯(cuò)紅線，衡量系統(tǒng)容錯(cuò)能力。

驗(yàn)證容器編排配置是否合理

通過模擬殺服務(wù)Pod、殺節(jié)點(diǎn)、增大Pod資源負(fù)載，觀察系統(tǒng)服務(wù)可用性，驗(yàn)證副本配置、資源限制配置以及Pod下部署的容器是否合理。

驗(yàn)證監(jiān)控告警的時(shí)效性

通過對系統(tǒng)注入故障，驗(yàn)證監(jiān)控指標(biāo)是否準(zhǔn)確，監(jiān)控維度是否完善，告警閾值是否合理，告警是否快速，告警接收人是否正確，通知渠道是否可用等，提升監(jiān)控告警的準(zhǔn)確和時(shí)效性。

豐富演練場景，創(chuàng)建基于云存儲的應(yīng)急預(yù)案

演練場景可以說是業(yè)務(wù)連續(xù)性預(yù)案中最為核心的內(nèi)容。在云架構(gòu)模式下，針對云存儲的演練場景，根據(jù)每個(gè)故障領(lǐng)域確定演練場景，每個(gè)場景下設(shè)置演練模板和腳本。再發(fā)起演練階段，只需要選擇好演練場景，即可發(fā)起。

云存儲故障演練可適用于以下典型場景：

1、云存儲部署在不同的云平臺或者混合云（包括公共云及專有云）場景中，兩朵云同時(shí)提供服務(wù)，災(zāi)難場景下進(jìn)行快速切換，需要統(tǒng)一的容災(zāi)管控并確保數(shù)據(jù)一致性。

2、不同類型的云存儲設(shè)備，包括文件存儲、對象存儲、塊存儲。

針對不同類型的云存儲類型及故障場景建立不同的應(yīng)急預(yù)案:

場景一：云存儲集群中，單臺設(shè)備故障無法正常使用

使用技術(shù)：數(shù)據(jù)連續(xù)性保護(hù)技術(shù)（CDP）

RPO =1Day （可恢復(fù) 1 天前的備份副本）；RTO = 2-3Hour（200G 數(shù)據(jù)需恢復(fù)需 10Min）。

業(yè)務(wù)恢復(fù)步驟：

選擇存儲卷及備份副本，完成云存儲及業(yè)務(wù)恢復(fù)。

場景二：云服務(wù)中的文件存儲誤刪除或丟失

使用技術(shù)：云磁盤緩存技術(shù)

RPO =1Day （可恢復(fù) 1 天前的文件）；RTO = 30Min-2Hour（200G 數(shù)據(jù)需恢復(fù)需 10Min）。

業(yè)務(wù)恢復(fù)步驟：

選擇虛擬機(jī)及備份副本，確認(rèn)丟失文件的路徑，選擇恢復(fù)的目標(biāo)，完成丟失文件的恢復(fù)。

場景三：對象存儲損壞或丟失

使用技術(shù)：備份一體機(jī) DP 進(jìn)行恢復(fù)

RPO =1Day （可恢復(fù) 1 天前的文件）；RTO = 30Min-2Hour（200G 數(shù)據(jù)需恢復(fù)需 10Min）。

業(yè)務(wù)恢復(fù)步驟：

選擇數(shù)據(jù)庫副本文件進(jìn)行數(shù)據(jù)恢復(fù)，恢復(fù)后確保數(shù)據(jù)完整性及數(shù)據(jù)庫可用性。

場景四：核心業(yè)務(wù)系統(tǒng)發(fā)生宕機(jī)無法快速恢復(fù)

使用技術(shù)：通過 RP 技術(shù)進(jìn)行恢復(fù)

RPO = 30sec ；RTO = 5min。

業(yè)務(wù)恢復(fù)步驟：

選擇相應(yīng)的時(shí)間點(diǎn)，進(jìn)行容災(zāi)切換，將備機(jī)直接開啟，并確認(rèn)業(yè)務(wù)是否可以使用。

四、總結(jié)

云存儲的演練場景是整個(gè)演練體系中非常重要的環(huán)節(jié)，將同業(yè)務(wù)系統(tǒng)的所有云磁盤放置在一致性組下，業(yè)務(wù)恢復(fù)時(shí)選擇測試選項(xiàng)。容災(zāi)恢復(fù)軟件會將一致性組下災(zāi)備的業(yè)務(wù)系統(tǒng)全部開啟，并允許讀寫，同時(shí)將這些虛機(jī)放置在一個(gè)孤立的網(wǎng)絡(luò)下，確保不會對生產(chǎn)環(huán)境造成影響。然后由業(yè)務(wù)人員對災(zāi)備的業(yè)務(wù)系統(tǒng)進(jìn)行測試，確保災(zāi)備業(yè)務(wù)系統(tǒng)的可用。

針對云存儲的應(yīng)急切換演練能夠顯著減少和預(yù)防企業(yè)在云架構(gòu)模式下發(fā)生安全事件，成為企業(yè)在數(shù)字化轉(zhuǎn)型時(shí)代，構(gòu)建業(yè)務(wù)連續(xù)性方面需要考慮的重要環(huán)節(jié)，也是減少損失和影響的重要手段之一，受到各行業(yè)的高度重視。然而與IT傳統(tǒng)架構(gòu)在應(yīng)急演練方面的所具備的成熟體系和經(jīng)驗(yàn)相比，在云架構(gòu)模式下，對云存儲的應(yīng)急演練起步較晚且存在眾多不足，亟需從標(biāo)準(zhǔn)體系、演練領(lǐng)域、演練流程、演練形式、人才等角度進(jìn)行完善、創(chuàng)新，實(shí)現(xiàn)工業(yè)信息安全事件應(yīng)急處置能力的有效提升。