模塊化數據中心已經成為解決當今企業所面臨的不斷增長的數據處理需求的一種普遍的解決方案，越來越多的政府單位、企業正在考慮借助模塊化數據中心的諸多優勢和其獨特的能力，以滿足各方面的數據處理需求。 

    PB級大數據帶來的挑戰 

    互聯網時代，尤其是社交網絡、電子商務、移動通信等把人類帶入一個以“PB”為單位的結構與非結構數據信息的新時代。那么PB級數據是什么概念？一提到數據量級，人們通常會聯想到美國國會圖書館。麥肯錫***分析師Michael Chui指出，美國國會圖書館“在2011年4月前已經收集了235TB的數據，而一個PB相當于它的4倍。” 

    未來10年之內人均，實時消費數據將達到PB級，是目前數據消費TB級的1000倍，如此大的數據處理需求將給現有的以計算為中心的傳統數據中心帶來一系列巨大挑戰，包括實時數據處理、按需動態資源分配及調整、大規模系統運行的能效等諸多方面。從業務層面來看，亟需解決軟硬件資源統一管理、按需分配、合理調度，信息資源的共享交換、池化管理，形成一套“合規”的資源服務池，并從該池中按需獲取所需資源或服務。 

    “以數據為中心”的新型數據中心 

    在這種情況下，傳統的數據中心必然需要轉型，向以數據為中心的方向發展，能夠靈活地將任務調度到數據位置較近的處理單元。傳統數據中心的設計目標是能夠持續工作，設計者們要求所設計的產品能夠用幾百年不損壞、保持正常工作。設計者心目中的數據中心是一大堆物理設備孤立的堆砌；事實上，建立傳統數據中心最初的動機，就是管理好日益增多的物理設備，保持良好的環境，不要損壞和丟失，出了故障有人維修。并且傳統的數據中心資源孤立、且不能實現在整個數據中心的實時、動態調度，這也是傳統數據中心資源利用效率低下的根本原因。 

    隨著數據中心的發展，傳統數據中心的問題逐漸顯露。達夢數據中心在充分吸收傳統數據中心的問題基礎上，推出了“以數據為中心”的新型數據中心理念。從邏輯上看，達夢的新型數據中心提供一個全局的資源目錄，包含了各種應用系統的所有數據，構成了一個全局統一的邏輯數據庫。當用戶向這個虛擬的邏輯數據庫發起數據訪問請求時，它首先通過檢索全局資源目錄，回答該數據是否存在，然后從資源目錄信息中獲取其位置信息，如果該數據從物理位置上是存放在本地，則從本地物理庫中獲取，否則根據資源目錄信息中獲取的遠程位置信息，通過統一的遠程數據訪問接口來獲取實際數據。 

    由此可見，達夢的新型數據中心相當于是一個龐大的全局化邏輯庫，可以根據業務的需要，采用某種算法。而實際的物理庫中只會存放那些使用頻率相對較多的數據，這樣既可以節約存儲資源，也能減少數據集中后所帶來的數據更新的代價。同時根據數據的訪問熱度，可實現對物理庫中數據的動態存儲管理，將最常使用的數據放到速度最快的內存當中，次之的數據放到固態盤，一般的數據放到磁盤，較長時間不用的數據則移到外部磁盤磁帶中，而長期無人使用的數據會被清除以騰出空間。 

    模塊化實現高效部署 

    物聯網、互聯網等信息技術的快速發展帶來了數據爆炸式增長，為了適應大數據的發展趨勢，數據中心不斷擴大規模、提升性能，以支持越來越復雜的海量數據管理需求。 

    出于性能的考慮，一般對于經常要使用的數據、以及分析應用所需要的數據，要從遠程數據源中將數據抽取、交換到數據中心的目標數據庫進行集中處理。數據集中帶來處理方便、性能提升等好處的同時，也帶來了數據一致性的問題。如何以較小的代價、最快的速度將數據源中發生變化的數據傳遞到數據中心目標數據庫中進行更新，以保持兩邊數據的一致，已成為數據中心建設必須要考慮的問題。而達夢突破傳統解決之道，采取“模塊化”的數據中心建設思想，不僅實現數據同步、還實現了顯著的性能優化。

    首先，在數據交換層面，傳統的數據交換采用時間戳、觸發器、MD5等方式來捕獲增量數據，使數據源的數據庫產生較大負載，延時也比較大。當數據量很大，同步時間要求很短的時候，傳統方案難以同時滿足處理性能和數據一致性的要求。達夢的模塊化數據中心則采用讀取數據源的數據庫運行日志文件的方法，從中分析出數據變化的情況，通過監控日志文件的變化，能近乎實時地捕獲到數據變化，值得一提的是，這只占用的非常少量的操作系統監控和讀取文件資源，對被監控的數據庫實例的運行基本沒有影響。 

    其次，在數據中心建設方面，傳統的數據中心建設周期非常長，而達夢模塊化數據中心在現場部署的速度非常高效，主要是因為模塊化的數據分類預制，從數據處理的全生命周期這個角度來說，它主要分為數據采集抽取、數據整合管理、面向業務的數據服務、多樣化數據應用等四個方面，各自擁有統一接口、統一標準、統一頂層設計的模塊化產品，這些以達夢數據庫產品為核心的產品集合，為模塊化數據中心的快速部署奠定了堅實基礎。我們沿著數據管理生命周期的順序，通過了解模塊化數據中心內部的管理機制，可發現達夢新型數據中心優于傳統數據中心的特色亮點： 

    數據交換：從其他業務系統采集數據、訪問數據時，數據交換平臺可針對交換頻繁、數據量極大的自動采集需求，使用達夢異構數據實時同步工具處理“海量密集，實時異構”的采集需求。而針對交換頻度較低，但有一定清洗轉換要求的自動采集需求，使用ETL工具定時處理“定期采集，清洗轉換”的采集需求。針對涉密敏感、不允許直接交換的數據，使用請求服務引擎實現“按需訪問，數據自治”的查詢比對需求。 

    數據管理：在數據交換、采集完成后，需要對數據進行整合和梳理，數據管理平臺可實現該類需求。對于整合來的各類項目數據資源，針對多種采集渠道、承載方式，數據資源管理平臺均采用一致的方式進行可視化管理和維護，將碎片離散的信息整體呈現。同時，針對各類信息資源的業務屬性描述、來源信息等內容，通過元數據管理進行統一描述、統一歸集、統一管理，使信息資源的重用成為可能。針對數據歸集過程中，數據不一致、不準確的情況，主要基于質量管理平臺進行質量管理和提升，基于質量規則，發現各類數據質量問題，給出質量整改門戶，推進數據整合的質量提升。針對數據整合后的梳理和編目需求，主要依靠數據資源目錄系統，按照業務屬性、提供單位、系統類型等因素進行編目梳理，使數據能夠被成功訪問和重用。針對所涉及的大量原始非結構數據，則是通過文檔管理系統進行統一管理，可以有效節約存儲空間，提供全文檢索等增值能力。 

    數據分析：數據整合后進行服務發布運用的過程，主要基于數據分析服務平臺來實現。針對數據整合建立數據倉庫、聯機分析的需求，主要采用BI分析平臺來實現數據倉庫建設、聯機分析設計、聯機分析呈現等功能。 

    數據呈現：針對數據選擇性呈現需求，基于數據門戶可實現數據的組合及篩選處理，完成數據面向不同人員、不同環節、不同方式的選擇性呈現能力。 

    而數據服務平臺，則提供基于已整合數據的非可視化（API,REST,WEBSERVICE）數據服務接口，來滿足數據的橫向比對、縱向比對、跨業務系統的對接需求。針對數據中心及業務系統運轉的情況的可視化需求（如系統承載能力、訪問狀況、異常信息等），主要使用運維監控系統，通過監控門戶、儀表盤、駕駛艙進行多角度可視化呈現。針對管數據的可視化呈現需求，基于數據展現應用提供基于已整合數據的可視化組件設計及呈現。 

    結語 

    在大數據時代，達夢數據庫堅持創新發展的技術路線，業界率先推行新型模塊化數據中心建設理念，以數據流為主線，實現從大數據存儲、數據交換、數據管理、數據分析到數據應用的全生命周期管理，并結合多年的項目建設與實踐經驗，致力于為更多政府機關、各行業領域單位提供大數據平臺咨詢與技術服務，作為國產數據庫品牌的中堅力量、領軍企業，為國產信息化建設貢獻力量！