[[399596]]

本文轉載自微信公眾號「大數據DT」，作者彭鋒 宋文欣等。轉載本文請聯系 大數據DT公眾號。

我們可以這樣理解，傳統大數據平臺和數據倉庫是數據中臺的數據來源，建設數據中臺是為了更好地服務于業務部門。

圖1-1顯示了信息化系統、數據倉庫、傳統大數據平臺、數據中臺之間的關系，其中的箭頭表示數據的主要流向。

▲圖1-1 數據中臺與傳統大數據平臺、數據倉庫的關系

數據中臺與傳統大數據平臺到底有什么區別?為了敘述方便，我們先給出傳統大數據平臺的架構(見圖1-2)。

▲圖1-2 傳統大數據平臺

• 大數據基礎能力層：Hadoop、Spark、Hive、HBase、Flume、Sqoop、Kafka、 Elasticsearch等。
• 在大數據組件上搭建的 ETL流水線，包括數據分析、機器學習程序。
• 數據治理系統。
• 數據倉庫系統。
• 數據可視化系統。

可以看到，這些是傳統大數據平臺的核心功能。在很多大數據項目里，只要把這些系統搭起來，每天可以生成業務報表(包括實時大屏)，就算大數據平臺搭建成功了。

但數據中臺應該是大數據平臺的一個超集。我們認為，在大數據平臺的基礎之上，數據中臺還應該提供下面的系統功能。

1. 全局的數據應用資產管理

這里所說的數據應用資產管理包括整個生態系統中的數據和應用。傳統的數據資產管理絕大部分只包括關系型數據庫中的資產(包括Hive)，而一個數據中臺應該管理所有結構化、非結構化的數據資產，以及使用這些數據資產的應用。

如果傳統的數據資產管理提供的是數據目錄，那么數據中臺提供的應該是擴展的數據及應用目錄。要避免重復造輪子，首先要知道系統中有哪些輪子，因此維護一個系統中數據及數據應用的列表是很關鍵的。

2. 全局的數據治理機制

與傳統的數據治理不一樣，數據中臺必須提供針對全局的數據治理工具和機制。傳統數據倉庫中的數據建模和數據治理大多針對一個特定部門的業務，部分原因是全局數據建模和治理周期太長，由于存在部門之間的協調問題，往往難度很大。

數據中臺提供的數據治理機制必須允許各個業務部門自主迭代，但前提是要有全局一致的標準。阿里提出的OneID強調全局統一的對象ID(例如用戶ID)，就屬于這個機制。

3. 自助的、多租戶的數據應用開發及發布

現有的絕大部分大數據平臺要求使用者具備一定的編程能力。數據中臺強調的是為業務部門賦能，而業務人員需要有一個自助的、可適應不同水平和能力要求的開發平臺。這個開發平臺要能夠保證數據隔離和資源隔離，這樣任何一個使用系統的人都不用擔心自己會對系統造成損害。

4. 數據應用運維

用戶應該可以很方便地將自己開發的數據應用自助發布到生產系統中，而無須經過專門的數據團隊。因為我們需要共享這些應用及其產生的數據，所以需要有類似于CI/CD的專門系統來管理應用的代碼質量和進行版本控制。

在數據應用運行過程中產生的數據也需要全程監控，以保證數據的完整性、正確性和實時性。

5. 數據應用集成

應該可以隨時集成新的數據應用。新的大數據應用、人工智能工具不斷涌現，我們的系統應該能夠隨時支持這些新應用。如果數據中臺不能支持這些應用，各個業務部門可能又會打造自己的小集群，造成新的數據孤島及應用孤島。

6. 數據即服務，模型即服務

數據分析的結果，不管是統計分析的結果，還是機器學習生成的模型，應該能夠很快地使用無代碼的方式發布，并供全機構使用。

7. 數據能力共享管理

大部分數據能力應當具有完善的共享管理機制、方便安全的共享機制以及靈活的反饋機制。最后決定數據如何使用的是獨立的個人，他們需要一套獲取信息的機制，因此在機構內部必須要有這樣的共享機制，才能真正讓數據用起來。

8. 完善的運營指標

數據中臺強調的是可衡量的數據價值，因此，對于數據在系統中的使用方式、被使用的頻率、最后產生的效果，必須要有一定的運營指標，才能驗證數據的價值和數據中臺項目的效率。

綜合上面的討論，除了阿里巴巴提出的OneID、OneModel、OneService之外，我們認為數據中臺還應該滿足以下兩個要求。

1. TotalPlatform

所有中臺數據及相關的應用應該在統一平臺中統一管理。如果有數據存儲在中臺管理不到的地方，或者有人在中臺未知的情況下使用數據，我們就無法真正實現對數據的全局管理。這要求數據中臺能快速支持新的數據格式和數據應用，便于數據工具的共享，而無須建立一個分離的系統。

2. TotalInsight

數據中臺應該能夠理解并管理系統中數據的流動，提供數據價值的定量衡量，明確各個部門的花費和產出。整個中臺的運營是有序可控的，而不是一個黑盒子，用戶可以輕松理解全局的數據資產和能力，從系統中快速實現數據變現。

如圖1-3所示，數據中臺可以說是按照一定的規范要求建設的數據能力平臺，在數據倉庫、大數據平臺、數據服務、數據應用的建設中實現了符合OneID、OneModel、OneService的數據層。

這個數據層，加上在其上建立的業務能力層以及運營這個數據中臺需要的TotalPlatform、TotalInsight，形成我們看到的數據中臺。

▲圖1-3 數據中臺的五大要求

關于作者：彭鋒，智領云科技聯合創始人兼CEO。武漢大學計算機系本科及碩士，美國馬里蘭大學計算機專業博士，主要研究方向是流式半結構化數據的高性能查詢引擎，在數據庫頂級會議和期刊SIGMOD、ICDE、TODS上發表多篇開創性論文。2011年加入Twitter，任大數據平臺主任工程師、公司架構師委員會大數據負責人，負責公司大數據平臺及流水線的建設和管理。

宋文欣，智領云科技聯合創始人兼CTO。武漢大學計算機系本科及碩士，美國紐約州立大學石溪分校計算機專業博士。曾先后就職于Ask.com和EA(電子藝界)。2016年回國聯合創立智領云科技有限公司，組建智領云技術團隊，開發了BDOS大數據平臺操作系統。

孫浩峰，智領云科技市場總監。前CSDN內容運營副總編，關注云計算、大數據、人工智能、區塊鏈等技術領域，對云計算、網絡技術、網絡存儲有深刻認識。擁有豐富的媒體從業經驗和專業的網絡安全技術功底，具有超過15年的企業級IT市場傳播、推廣、宣傳和寫作經驗，撰寫過多篇在業界具有一定影響力的文章。

本文摘編自《云原生數據中臺：架構、方法論與實踐》，經出版方授權發布。