1 現狀及需求

隨著業務規模的不斷發展，監管力度的不斷加強，保護消費者法的不斷完善，應用系統每時每刻產生日志數據、業務影像數據、歷史數據都在海量增長，都有可能夠成為爭議交易的佐證證據，且這些日志種類繁雜，格式多樣，散落在生產系統的各個角落，往往只有在出現問題時才會到海量日志中去查找和分析，這些信息可以對系統的優化、運維以及運營帶來重要的決策參考，所以建設一套可供上述數據永久存放的存儲，并在相當長的一段時間內維護得當，隨時能夠滿足查詢需求，已經變得尤為重要。

銀行的上述非結構化數據種類繁多，用途各有不同，雖然制定了大部分數據的清理策略，但是在歸檔后，因為各種原因查詢緩慢，人力投入過大，更加不能得到充分的分析及應用。究其原因有兩點，一是日志格式多樣且繁雜散亂，日志的分析存在一些難點和問題；二是日志數據量巨大，傳統存儲架構無法支撐海量數據。

尤其對于數百TB的日志類數據，龐大的數據量不僅增大了運維人員的監管和分析的難度，使得日志類數據的價值更加難以挖掘，而且傳統的數據存儲方式已經不能滿足海量交易類日志數據對于安全性、可靠性和擴展性的要求，急需一個合適的統一歷史數據管理與存儲方案，用作數據的集中管理、輔助監控和分析以及交易類歷史日志數據長期歸檔存放。

存儲不僅要滿足現在應用的需求，同時也要為未來數據增長提供良好的可擴展性，隨著銀行業務的數據量爆發式的增長，如票據影像、日志數據、數據庫歸檔數據等，同時生成部分應用對數據的要求全天候訪問，現有的存儲基礎架構顯得有些力不從心，系統管理復雜、運營成本不斷上升，存儲設施面臨著多重挑戰。

私有云的存儲方案在為未來業務發展提高強大的可擴展能力和服務能力，同時能夠有效提升海量數據的可管理性、可靠性以及可用性。通過增加集群規模，容量和性能能夠同步提升，能夠很好地滿足銀行業務發展的需求。

2 在上述場景中傳統存儲的缺陷

1) 擴展能力不足：不能進行靈活的擴展以滿足快速變化的業務需求，缺乏可擴展性或大規模文件處理能力，且容易在管理不善的情況下造成數據孤島，查詢起來非常繁雜。

2) 數據可靠性：存儲數據的來源越來越多樣化，對數據可靠性提出更高的要求，在滿足數據可靠性的同時，還需要平衡硬盤利用率，避免犧牲大量的存儲空間（原始數據幾倍的存儲空間）來滿足數據可靠性要求，傳統存儲一直使用一個資源池，不利于長期保存。

3) 系統性能瓶頸：傳統集中式存儲Scale-up架構的性能無法線性增長，面臨海量數據的高帶寬要求時，往往無法快速響應應用的讀寫請求，尤其是大文件和海量小碎文件讀寫。

4) 管理維護難度大：隨著應用不斷發展，現有的數據規模已經超出原有平臺管理的峰值，存儲設備的增多帶來維護成本居高不下，多套存儲系統空間不能共用，管理復雜，需要多個IT管理人員維護多套不同的存儲設備和網絡，總體成本急劇上升。

3 云上存儲具備的能力

1) 線性擴展能力：系統應具有良好的拓展能力，最大可擴展容量應能達到數十PB以上，同時性能隨容量的提升線性增加，確保整套系統隨容量增長不出現性能瓶頸，整套系統的擴展能力應能滿足未來3-5年數據增長和長期歸檔的需求。

2) 高可靠性：系統應保證有充分的冗余，在部分硬盤或節點損壞時系統能夠自動恢復而不影響業務運行，同時應保證系統在7*24的高負荷環境中依然有良好的安全可靠性。

3) 易維護性：系統的運維管理應盡量簡單，采用可視化圖形界面對整套系統進行監控維護，一旦發生故障應能主動告警，并迅速定位故障點，硬件部署安裝也應簡便，方便以后進行系統擴容和節點替換。

4) 提供的存儲服務：從日志檢索這個出發點，經過時間的積累，必然會走向分析、告警、預測，而從需求反推支撐功能的實現，平臺必須在如下方面進行考慮：能夠準確查詢日志，支持便捷使用，可以真正用起來，除滿足日常歸檔存儲的功能外，應該具備對象存儲功能，對外提供對象存儲接口，一般對象存儲服務提供了2套標準接口，分別符合Amazon S3和Openstack Swift規范；從影像數據存儲需求出發，也可以通過對象存儲完成存儲與查詢，但是因為要變更應用接口，不適用于所有應用，所以仍然需要提供NAS存儲服務，在訪問安全方面可通過設置NFS、CIFS、FTP及私有客戶端四種共享的權限來限制訪問的用戶；從歷史結構化數據存儲以及備份介質的需求出發，塊數據功能可以滿足此種服務需求。從存儲系統的業務供給能力角度看，不同存儲系統可以提供塊存儲、對象存儲、文件存儲等不同類型的存儲服務。假如用戶有多種需求，就需要購買不同類型的存儲系統。分布式融合存儲系統可提供塊、對象、文件與大數據等多種不同的存儲接口，提供多種不同的存儲服務，從而達到統一存儲的特性，降低多種存儲系統帶來的運維復雜度，提高存儲資源利用率，節省機房空間。

4 日常維護

云存儲的日常維護，必須考慮建設階段的策略選擇，例如可靠性、性能、擴展能力等，只有在建設階段選擇了適當的策略，日常運維中才能做到從容不迫。

1) 高可靠?

對于大容量的私有云存儲，糾刪碼技術和多副本相比更加適用，糾刪碼技術以同樣的初始容量存儲更多的數據,磁盤利用率更高，從而大大降低了成本。舉例來說，3副本的利用率是1/3；而k+m糾刪碼的利用率是k/（k+m），如8+2的利用率是8/10。

2) 高性能?

面對歷史數據歸檔場景的云上存儲，對使用者來說，存儲系統的性能體現在兩個方面：一個是從客戶端角度看，客戶端可以從系統獲得的性能；一個是從存儲集群的角度看，存儲集群的供給能力。

從客戶端角度看，集群中的文件或LUN會根據特有算法偽隨機地分散在集群的所有磁盤。這個分布是通過集群自動完成，無需手動配置。由于每個文件或LUN可以使用整個集群的磁盤性能，因此整個集群能夠提供更高的性能。在云上存儲集群中，通過分析將要存放的文件類型，調整存儲塊的大小，也是非常有必要的，默認存儲對象的大小是4M（可配置），比如一個1GB大小的文件或LUN，會被劃分成256個對象，這些對象分散在不同的OSD上。這樣在讀寫文件時，就會充分利用集群的整體性能，提升IOPS和吞吐率。

存儲集群的性能取決于兩方面：一方面是單節點的能力，另一方面是系統的擴展能力。如前所述，云上存儲系統的性能可以隨節點的規模而線性擴展。對于單節點的能力，云上存儲在系統設計和硬件配置方便實現了足夠的靈活性，從而可以表現出良好的性能。

對于歷史數據查閱的頻繁度，可以簡單區分一下所使用的硬盤資源池。對傳統HDD來說，受尋道能力的限制，單盤的隨機讀寫能力一般不超過200個IOPS。SSD的出現，使得在IOPS上的能力相比于HDD有了成倍的提升，甚至是數量級的提升。在SSD+HDD混合組網模式下，云上存儲系統既可以將SSD作為緩存使用，也可以將SSD和HDD放到不同的存儲池做分層存儲使用。在此情況下可以發揮SSD 的IOPS和帶寬的優勢，又可以發揮HDD的容量和價格優勢。

3) 高擴展?

集群的線性擴展能力，主要體現在兩個方面：一個是集群部署規模可以線性擴展，另一個方面，隨集群規模的擴展，其性能要能夠線性或近似線性擴展，隨著服務器使用年限的增長，不斷將重要歷史數據遷移到新的資源池也是一個較為重要的需求。

在規模上，傳統存儲之所以在擴展能力上受限，一個很重要的原因就是一般其采用集中式控制，并且在控制節點存儲大量的元數據信息，從而使控制節點容易成為系統的瓶頸。對于云上系統， 客戶端節點通過特有算法可以直接計算出數據的存儲位置，從而對OSD進行直接讀寫，完全是分布式并行的；而其元數據，也就是集群視圖，是輕量級數據，而且其更新的頻率較低。這種架構就在理論上保證了云上存儲具備線性擴展能力。

在性能上，根據集群的分布式架構，客戶端的讀寫數據最終會被打散，均勻分布到各OSD上，從而集群整體的吞吐率是各節點能力的總和，即集群的性能隨節點數量的增加而線性增加。

5 通過云上存儲提供的功能簡化運維操作

云上存儲為了簡化管理運維應該具備大量自動化運維工具：

1) 集群快速部署及增減節點

包括批量部署、單節點增減、單磁盤增減等。從部署上來說云上存儲系統可以根據用戶需求靈活地部署Monitor節點和Client節點。一方面，這些節點既可以部署在單獨的物理服務器上，也可以部署在和OSD相同的物理節點上。另一方面，Monitor和Client的節點可以根據用戶的需求靈活地調整。比如為了可靠性保證，至少需要部署3個Monitor節點；在增刪存儲介質，或存儲介質發生故障時，系統會及時進行檢測。比如，在磁盤發生故障時，分布式融合存儲會利用損壞數據在其他存儲體上的副本進行復制，并將復制的數據保存在健康的存儲體上；在增加磁盤時，同樣會把其他存儲體的數據安排容量比例重新分布到新磁盤，使集群的數據達到均衡。在上述過程中，雖然完全不需要人工干預，但是仍然需要依靠人工巡檢保證系統運轉狀態正常。

2) 系統監控報警

發生故障時能快速界定問題、排查故障，除系統本身的監控外，因為存儲分布式架構，最好額外增加針對硬件級別的監控。

3) 自定義分布策略

允許定制數據分布策略，方便地進行冷熱數據分離、故障域隔離，以及對數據存儲位置進行靈活選擇。比如在選用副本策略時，用戶可能希望不同數據副本存儲在不同機架上面的主機上；或者主副本存儲在某個機架的主機上，其它副本存儲在另外機架的主機上；此類需求可以靈活調整故障域和保護域策略，已滿足需求。

4) 重構自動Qos

在系統平衡數據（例如系統擴容或者存儲節點、磁盤發生故障）的過程中，為保證用戶IO，云上存儲系統支持IO優先級控制和Qos保證能力。我們知道，在系統擴容或者存儲節點、磁盤故障過程中，為保證數據的可靠性，系統會自動進行數據平衡。為了盡快完成數據平衡，往往會占滿每個存儲節點的帶寬和IO能力，這樣做的好處是會使平衡時間最短，壞處是此時前端用戶的IO請求會得不到滿足。在日常業務系統正常運行的場景下，我們是無法接受這種狀況的。為此，云上存儲系統實現了IO優先級和Qos控制機制，可以根據我們日常的網絡流量和后端存儲網絡流量進行控制，保證一定比例IO得到滿足。?