2015年，馬云拜訪名為Supercell的芬蘭游戲公司，雖然這家公司僅有180人，但是他們開發新游戲的速度特別快，公司旗下游戲DAU已經突破1億。2016年，騰訊以86億美元收購了其84%的股權，這不僅是騰訊歷史上，也是近年全球手機游戲行業最大金額的并購。這家“小公司”為什么這么牛逼?因為他們把游戲需要的通用數據、素材都放在一起供大家使用，實現了業務互通，大大提高了每個團隊的效率。不久之后，阿里就成立了數據中臺的團隊，隨后國內的公司也都紛紛效仿，開始架構屬于自己的數據中臺。

什么是數據中臺：

基于那次拜訪產生的靈感，阿里提出了“大中臺，小前臺”的概念，即將業務數據化，數據業務化，真正實現數據和業務進行打通。阿里數據技術和產品部門的負責人曾說過：“很多人會把數據比作石油，馬云也說過，阿里巴巴要成為全球電子商務的水電煤。我們現在搭建的數據中臺，就是希望扮演發電廠的角色。”

數據中臺絕對不等于數據平臺，差別之一就在于是否具有業務屬性，這也是數據中臺出現的一個非常重要的原因，它可以支撐多個前臺業務，使得數據不再是各前端業務獨立管理，真正實現不同業務之間的互通互融。

我就曾經參加過的一個項目給大家講講數據中臺包含那些東西。

1.數據采集

為數據中臺提供匯集數據的能力，應提供統一的數據獲取接入方式，數據來源包括內部數據和外部數據，數據類型應支持結構化和非結構化數據采集。傳統的ETL工具仍然可以復用，實現數據采集、轉換、加載等關鍵處理過程。

2.數據計算

為數據中臺提供統一的大數據計算能力，針對不同大數據處理場景，所需提供的數據計算能力也不同，一般主要包括批量離線計算、內存計算、在線流式計算等，可用到的技術有數據挖掘，大數據分析，云計算等。

3.數據存儲

數據中臺中全域數據的存儲中心，按照不同的數據類型，可以采用圖中一種或多種數據存儲系統的“混搭”架構。傳統數據倉庫(如DB2/ORACLE)是最為穩定的數據存儲方式，承載著及時性、準確性要求高的企業核心應用。分布式關系數據庫，也常簡稱為MPP數據庫，相較于傳統的關系型數據庫，具有高性能處理能力、高數據吞吐能力的優勢。

NoSQL分布式數據庫屬于非關系型數據庫管理系統，在大數據簡單存取上具備關系型數據庫無法比擬的性能優勢。分布式文件系統(HDFS)是當前最常見的大數據存儲方式，它具極高的性價比，擴展性強。數據湖作為一種新的存儲大量復雜格式數據，避免企業數據孤島化的數據架構方案，可用來將不同結構的數據統一聚合和存儲。

4.數據治理

指的是為了實現對企業中數據資產價值的獲取、管控、交付等目的，基于制定的數據規范，對數據資產所做的一系列管理活動。數據標準管理指對數據口徑、公共術語、參考數據、數據編碼等制定和實施標準化的管理活動。數據模型管理負責對系統中核心的邏輯模型、物理模型、數據庫表、字段、視圖等進行統一管控、促進其規范化。

5.數據服務

包括了與業務相關的、可復用的一些公共技術組件或產品，如數據目錄、數據標簽、數據分析、數據開放接口、機器學習算法模型等，它們可以使用SAAS方式直接對外提供服務，也可以以更小粒度如API、消息接口、文件接口、服務接口、SDK軟件包等方式只提供組件能力或數據服務，內部或外部第三方應用不必關心底層數據準備情況，直接調用數據服務模塊對外提供的服務接口，就可以方便進行二次開發，借以增強自身的能力。

為什么要建立數據中臺：

業內對于數據中臺建設的經驗還是不足的，我這里給大家講講如何建立數據中臺。

我經在手機上常看見各種公眾號文章提及數據中臺這個概念，我也跟各個行業的一些大公司的 CIO 交流過，發現很多行業的大公司都開始組建大數據團隊，建設數據中臺。結合文章和交流獲取的信息，我切身感受到宏觀經濟對技術的影響。2018 年開始經濟下行，生意不好做了，粗放的經營已經不行了，隨著數據時代的來臨，越來越多的企業想通過數據驅動來進行精細化的運營和數據化轉型。

對于20人以上的企業來講，如果不進行精細化運營，那么各種問題可能層出不窮，譬如：小到上演會議室爭奪戰，大到各種業務團隊不互相、辦公溝通增加成本、辦公室物資損耗現象嚴重等等，日復一日地惡性循環，最終不但會使管理者和員工感到精疲力盡，還會驚訝地發現：企業業績沒有翻番，管理成本和經營成本等費用反倒是陡然躥高，企業陷入了持續虧損的泥潭。

這時候，一個連接前后臺，并且為業務負責的數據中臺的出現就非常有必要了，它能更好的幫助企業進行精細化運營，從而減少甚至杜絕上面提到的任何問題。

如何建立數據中臺：

第一步，需要有個完整的地方把所有數據串聯起來;第二步，數據需要打通，并被整理好;第三步，數據要能夠驅動業務增長。其中，只有第二步和軟件架構有關系，其它兩步與軟件架構的關聯都不是那么緊密，第一步是信息化，第三步與管理層更緊密。

首先，數據中臺一定要與業務價值對齊。構建數據中臺，最重要的不是技術，也不是數據質量好不好，而是數據思維和數據文化。數據思維就是要建立起從數據的視角去思考問題的方式;數據文化就是要把數據和業務當成一體去看，而不是只將數據當作一個支持工具，想清楚業務對于數據的訴求是構建數據中臺的第一步。不要在業務場景還沒有明確、優先級還不清晰、價值度量體系尚未建立起來的時候，就建立大而全的數據平臺，

其次，數據中臺應該從小數據、小場景做起。數據中臺是面向場景而非面向技術的，這種與客戶的業務、企業的結構和信息化發展階段有著緊密的相關性的業務基礎架構，是很難買一個大而全的產品來一勞永逸解決的。

一開始的時候需要頂層設計，面向業務愿景制定中臺的整體規劃，全面的梳理數據創新全景藍圖，這就是上圖左邊的黑色框架部分，通過業務愿景驅動出所有的業務場景探索，從而推導出數據中臺的全景架構、技術支撐。

但是在實施的時候，要從具體的業務場景出發。從高價值數據集場景做起，然后順著這個場景豎切，找到數據全景圖中的一個或多個數據集合，從小數據場景落地，這樣才能快速驗證價值。大處思考，全局拉通，避免后續的數據孤島，但是從小數據集切入，從可實現性高的場景啟動。然后一個個的場景做起來，業務價值和中臺能力也就同步建立起來了。

企業實際案例：

• 數據中臺的建立一定會伴隨著企業架構的調整，除非兩家企業的業務都是一樣的，否則不會存在對一個企業都適用的數據中臺。

企業建設數據中臺，可以通過合理規劃、復用內部現有已經完善的大數據處理工具來支撐建設，充分借鑒業界數據中臺建設實踐，從核心需求出發，以某垂直業務的數據入手，打通數據采集、存儲、計算、治理、服務的工作全流程，逐步擴展到全域數據的接入、加工和管理，建設起自有的數據中臺。

筆者和阿里的高層就數據中臺有過一次朋友之間的聊天，他給我講述了阿里的數據中臺應該是什么樣子的。

阿里的業務中臺包含兩個數據庫，一個數據生產庫，一個數據中臺(歷史庫)，包含了所有的歷史數據和關鍵算法。以阿里電商為例，用戶如果想買一個手機，在下單頁面就會推薦手機殼、充電寶等相關產品。但值得注意的是，研發不知道你喜歡上面，在服務的過程中，需要根據你的一系列消費行為或者其他活動的歷史記錄去分析。

那么問題來了，如果這個數據量非常龐大，現查是非常慢的，不可能瞬間就查到結果，那怎么辦呢?這就是數據中臺要做的事情，把用戶在歷史庫里的一堆數據做成一序列業務模型，然后在業務中臺里要查某一用戶喜歡什么時，它能立馬調出結果并反饋，這是數據中臺最大的魅力，這個反饋可能是毫秒級的。

這才是數據中臺真正發揮價值的地方，而不是說做個可視化大屏就覺得有了數據中臺或是聽說數據有價值就去搞個數據中臺，這都是沒有真正理解數據中臺的表現。從建設的角度來講，一般是先建設業務中臺，然后有了一定量的數據，想清楚了這個數據該怎么用才去建設數據中臺，然后再反過來優化業務能力，讓業務智能化。

總結：

當企業需要數據化轉型、精細化運營，進而產生大規模數據應用需求的時候，就需要建設數據中臺。當然，數據中臺的建立不是一蹴而就的，每個企業都應該基于實際打造獨有的中臺能力。