一、概述

目前云平臺已經得到了廣泛應用，存儲池作為云平臺的IAAS主要構成部分，需要在云平臺上線實施的時候就進行良好的規劃，保持充分的穩定性、靈活性，保證后續的便捷使用和運維，以更好的支撐業務發展。金融業的云平臺計算池中運行有裸機、虛擬機、容器多種運行態資源，為支撐數據庫、應用服務器、容器以及文件存儲等場景，在建立企業級云平臺存儲池時，通常需要規劃采用多種不同特性的存儲設備組建存儲池，以便支撐不同場景的需求。

二、分析應用場景，建立多個云平臺存儲池

對存儲進行規劃建設時，離不開存儲應用場景的分析，需要考慮的云存儲是用來做應用系統的存儲，還是歸檔、或者是備份云存儲端、或者其他的應用，因為不同的應用是需要不同的解決方案。當確定了云的應用場景后，才可以繼續根據需求制定應對方案。例如對于應用系統，如支撐業務交易的數據庫，對容量要求相對不大，但要求滿足較高的性能。例如對于多個系統間的文件交換，或者多個服務器節點需要共享維護同一個共享文件目錄，共享文件服務器則要求有效的訪問控制、同時具備較好的帶寬。而用于備份的存儲，則需要安全與可用性、歸檔則要求大容量而成本低廉的存儲。確定了應用場景，也就確定了存儲池的建設方向。

金融業的核心、柜面等重要交易系統，因為業務并發量大，切業務敏感性高，必須保證相應系統的數據庫、應用程序具備極高的穩定性和性能，為保證數據庫以及此類響應時間要求較高的應用高效穩定運行，獲得良好的iops和讀寫時延，則需要在企業云平臺存儲池中規劃專用的通過集中式全閃存存儲構建的存儲資源池，此部分存儲池通常采用高端集中式存儲構成，高端集中式存儲技術成熟，使用時間長，案例眾多，服務體系完備，通常采用高性能存儲機頭管理高速的NVME SSD，能提供極高的IOPS響應速度。集中式存儲通常采用高效FC協議提供服務，也有少量用戶采用ISCSI等IP SAN方式提供服務。集中式存儲因其產品設計理念，存在一定的弊端，例如在需要對存儲設備進行擴容、遷移等操作時，單臺存儲的擴展能力相對有限，擴容靈活性差。集中式存儲的使用經驗已經較為成熟，在規劃組網等時需要考慮的磁盤域規劃、raid以及熱備盤規劃、物理端口冗余、多路徑規劃等規劃重點均已經應用非常廣泛，本文不再花費過多篇幅進行闡述。

三、云平臺分布式存儲池規劃建立

除集中式存儲池之外，云平臺中目前多用于支撐一般虛擬機、容器以及保存海量文件的存儲，仍是采用分布式存儲。云存儲解決方案通常采用分布式設計理念，可從成本、容量、空間可擴展性、服務可用性、數據可靠性、接口通用性等多個維度提升存儲的質量。由于這些明顯的優勢，分布式云存儲成為有效的支持塊存儲、對象存儲、NAS存儲等多種存儲格式的存儲類型，對象存儲常用于保存視頻圖像信息庫等數據存儲與共享業務，成為云平臺中便捷、統一管理和高效應用的云平臺基礎組件。

云平臺中分布式存儲池的規劃建設，需要考慮的因素通常包含容量、性能、安全性幾個方面，相關的規劃點則包括節點數量、磁盤配比、組網規劃、集群的用戶角色規劃等。下面以一套CEPH分布式存儲為例，闡述其規劃實施路徑。

3.1 分布式存儲集群及節點硬盤規劃實施

分布式存儲集群規劃第一步需要基于企業當前數據量，合理分析本企業近3-5年的容量增長情況，并區分集中式存儲和分布式存儲的數據量。節點池是集群中以節點為單位組成的存儲區域單元，不同節點池中包含若干臺集群內主機，為用戶提供不同的存儲業務服務。可以同時支持塊存儲、文件存儲、對象存儲業務，每種業務分別位于不同的節點池。每個節點池的擁有自己的監控節點、存儲節點，節點池間獨立，使用某分節點池的存儲資源，數據只能在該節點池內的主機上分布存儲，不同節點池之間數據完全隔離互不影響節點池。需要全面考慮塊存儲、對象存儲、文件存儲池的需求，三類存儲建議獨立不同的存儲池部署，單獨規劃不同配置的服務器作為數據節點。

硬盤池是集群節點池中以硬盤為單位組成的的存儲區域單元，不同硬盤池中包含節點池內若干臺集群內主機中的若干硬盤，為用戶提供不同的存儲業務服務。通過硬盤池也可以滿足不同存儲業務數據間的隔離，以及用戶使用不同性能的存儲需求。

每個數據節點的硬盤規劃，關鍵要考慮SSD和機械硬盤的配比。在預算充足切對存儲池性能要求較高時，也可以考慮全閃存配置的數據節點，構建全閃存分布式存儲池。如果采用混閃進行配置，則通常是一個或者多個SSD磁盤作為緩存加速盤和元數據存儲盤，后端配置4-6塊HDD作為容量盤，SSD+HDD組成一個OSD。例如一套對象存儲，包含數據池和元數據池兩部分，可以采用HDD+SSD構建數據池，為保證整個存儲池的性能，建議一個OSD中SSD容量不低于20%，但構建元數據池時，則推薦采用SSD組池，且建議配置2塊以上SSD作為故障容錯。數據節點服務器通常需配置支持直通模式的RAID卡。

根據目前市面主流服務器，有2.5英寸硬盤盒3.5英寸硬盤兩種規格的服務器可供選擇，2.5英寸有7200/10000/15000轉速不同規格，轉速越高讀寫性能越好，但是2.5英寸硬盤因其尺寸規格限制，目前最大為2.4TB的規格，因此單臺2U服務器能支撐的裸容量相對有限。而3.5英寸硬盤可支持采用3.5英寸HDD磁盤的最多為24盤位，HDD硬盤最大可達16TB。如果追求性能，也跟建議采用大容量3.5寸硬盤搭配更多的SSD緩存加速層來配置數據存儲。

3.2  分布式存儲集群組網規劃實施

為了保證云存儲的性能以及安全性，通常規劃云平臺的分布式存儲集群在邏輯上分為三個網絡平面：存儲業務網絡（存儲外網）、存儲前端網絡（存儲內網）、存儲后端網絡（存儲內網）。存儲的前端網絡和后端網絡為了保證性能，建議分開，但是在網口資源有限的情況下，也可以將前端和后端網絡合并，但業務網與存儲內部交換網絡是需要分開的。

此外還有存儲節點的管理網絡。典型組網推薦采用三張雙口萬兆網卡。分布式存儲除了管理網絡可以采用GE網絡外，其他組網為保證性能均建議采用不低于10GE網絡。根據企業的IP地址分配，后端和前端網路的IP地址均不涉及存儲池外使用，故而可以采用不常用的私有網地址，但業務網的IP地址則考慮納入企業的ISCSI網絡。

表一：分布式存儲集群組網規劃表

3.3  分布式存儲集群角色規劃實施

一套分布式集群分為管理節點、監控節點和存儲節點三個角色，這三個角色的服務均可以部署在同一臺物理機上。單臺服務部署同時部署3個角色，單臺物理服務器故障會同時引起該節點上的監控節點、管理節點、存儲節點同時故障。站在風險分擔的角度，當物理服務器有富余時，建議將存儲節點、管理節點、監控節點分離在不同的物理服務器上。當存儲集群中的節點數等于3時，受物理服務器的限制，管理節點、監控節點、存儲節點可以合一部署。

管理節點主要用于針對存儲集群的管理程序的控制，做好規劃后，管理節點按照規劃的信息進行集群的安裝部署，并將監控信息圖形化，給存儲節點服務發布命令等，集群需要配置兩個管理節點，一主一備。    監控節點主要針對集群的運行健康狀態進行監控，每個集群的監控節點數量必須為奇數個，范圍3~7個。一套三節點集群的節點角色部署樣例推薦規劃如下：

表二：分布式存儲集群角色規劃表

3.4  分布式存儲集群配置規劃

為了保證集群的高容錯能力，對于集群的服務器上架的機架需要充分考慮機柜掉電，機柜網絡斷開等故障場景，因此在進行上架規劃時，機架創建與規劃建議依照實際物理擺放，盡量不要一個機架上只有一個節點。

數據池冗余策略規劃。存儲集群需要考慮單臺服務器故障、或者單塊硬盤故障等場景，需要規劃安全的數據冗余策略。常見的數據冗余策略包含以下兩種：

（1）多副本策略。多副本是分布式存儲中目前較為常見的方案。如果按照多副本方案規劃容錯能力，幾副本就需要有幾倍的存儲空間來提供冗余，副本個數越多，安全性越高，但缺點在于存儲數據所需要的空間也成倍增長，N副本最終得到可用容量為實際硬盤裸容量的1/N。目前常見的是采用兩副本和三副本兩種策略，對于數據安全性較高的行業和集群，建議采用三副本以上。

副本數與集群節點數對應關系規劃：

支持2-6副本，一般用2副本和3副本，推薦使用3副本。

2副本，至少2節點，推薦4節點。

3副本，至少3~4節點，推薦5節點。

4副本，至少5節點，推薦6節點。

（2）糾刪碼。類似于存儲的raid5，采用糾刪碼規劃的存儲池最終得到可用容量能達到實際硬盤裸容量的約70%，糾刪碼是可用容量更高的一種數據保護策略，將數據分割成多個數據塊，對這些數據塊擴展、編碼生成冗余的校驗塊，并將其存儲在不同的位置。相應采用糾刪碼冗余技術的集群，對于數據節點的CPU開銷會更多，因為需要消耗一定的計算資源用于進行存儲數據的糾刪碼校驗，故而對于存儲節點的CPU型號要求更高。

塊存儲和對象存儲數據池均可以使用三副本或者糾刪碼策略。為了能讓集群正常工作，且根據用戶需求，可以承受單個硬盤（或單個節點）的故障。集群必須預留一定的容量空間。具體需要預留多少容量空間，用附件的表格可計算得知。

存儲精簡特性。有豐富運維經驗的系統管理員都會知道，對于一個分配出去的LUN,通常應用系統是不會使用完該LUN的所有空間，若存儲采用精簡配置，則只有當使用的時候才會占用存儲空間，而非劃出一部分空間預留的方式。例如集群的可用容量10T，創建一個1T的2副本池中的存儲塊，集群的可用容量并不會減少，仍為10T。當向存儲塊中寫入0.5T數據，占用集群容量0.5T*2 (2副本)=1T，集群剩余可用容量為9T。若存儲采用厚配置，則為劃出一部分空間預留的方式。

精簡卷的特性，在測試環境中，可以考慮應用，通常一個精簡卷中運行的是不止一臺虛擬機，它能提高存儲資源的利用率，但是在生產環境中開啟精簡卷的功能，將要承擔較大的風險，如果該LUN一旦空間耗盡，將直接導致多臺虛擬機或者多個業務因空間不足而宕機的風險。況且分布式存儲具備良好的擴容靈活性，生產環境的規劃中，不建議開啟精簡特性。

尺有所短，寸有所長，建立一個企業的云平臺存儲池的關鍵還是對業務的分析，只要企業的存儲管理人員能立足業務，能做到對自己企業的業務發展趨勢和需求心中有數，從業務的具體需求和預測出發，就能從容面對云平臺的存儲池規劃建設。在進行新的存儲管理規劃時，要求技術人員更有全局觀，更全面的了解各個業務系統，要從單個系統的規劃思維轉為系統群的規劃思維，充分評估各系統的性能峰值和容量峰值體量，峰值出現時間等因素，充分考慮系統的核心需求，熟練掌握分布式與集中式的優劣，并結合業務系統的需求進行具體分析，科學搭配，合理進行規劃和建設實施。