其實，“大數據”概念第一次被提出，可以追溯到1998年，一家美國高性能計算公司的科學家，在一次國際會議報告中，用“Big Data”(大數據)來描述數據量增長帶來的挑戰。

到了2013年，開始有越來越多的企業看到大數據的價值，發現大數據能夠為企業業務賦能，通過對海量數據量的有效存儲、管理和分析，可以獲得更實時的市場洞察力。并且，人們還發現，大數據不是一個單一的技術，而是一系列數據管理技術的集合體，它對整個社會及人類帶來的影響，將有別于以往任何技術變革。

那么，十幾年時間過去了，今天的大數據發展到何種狀態?我們需要做些什么，才能讓大數據應用變得更加成熟?

從各種應用分析和調查來看，雖然企業的數據量呈爆發趨勢增長，也更重視信息的來源和使用價值，但在實際的商業價值推動上，并沒有帶來顯著成果。雖然大數據概念炒得很火熱，但應用上仍停留在如何將正確的信息在正確的時間發送給正確的人。

數據倉庫vs數據湖vs數據管理架構

為了收集、獲取海量數據，各種數據存儲和管理系統如雨后春筍般誕生，包括數據倉庫、數據湖和數據管理架構等，開始加快走向企業應用場景中。

只是，當企業的解決方案以及平臺架構開始增多，業務的復雜性也隨之增加，企業需要一個標準的數據管理架構，去整合所有的數據以及多樣的應用工具，包括能實現跨環境以及混合應用的管理。以往集中式架構，已經不能滿足企業的業務需求了。或者說，企業需要更強大的數據分析能力，能對不同的數據源進行訪問。這也是以Data Fabric為核心的數據管理架構，變得越來越流行的最根本原因。

理論上講，企業需要一個核心數據庫，能確保所有的數據都是最新、易管理，并且是干凈數據;但之前的數據架構模式不可能實現，而Data Fabric則能幫助企業實現不同數據的管理，并且能把各種數據之間的關系關聯起來，而不是將所有的數據傾倒在一個數據湖中。

所以，在數據的整個治理過程中，所有相關的應用都很重要。比如：我們可以通過數據倉庫實現高性能、可重復的分析;而數據湖可以存儲用于開發和測試的數據;Data Mesh 這種基于領域驅動和自服務的數據架構設計模式，可以用來管理分布式數據，因為該服務本身借鑒了微服務和 Service Mesh 分布式架構思想。提到Data Mesh，有人可能要問Data Mesh和Data Fabric是什么關系?其實，Data Mesh和Data Fabric在概念上都差不多，都是一種新型的數據管理架構，都致力于讓數據互聯互通。

一站式大數據平臺構建

當企業業務上升到一定量，構建大數據平臺成為必須品。問題是，大數據平臺如何構建?不同企業有不同選擇!

有專家建議，最好采用兩種策略構建企業大數據平臺，即一個用于生產，另一個用于分析。但筆者認為，基于一個標準的數據架構構建大數據平臺，更有利于數據管理。如果每個業務部門都建自己的平臺，需要支持多個數據庫，還得需要一個ETL平臺完成數據之間的轉換。這時，數據的真實性、實時性都會出現挑戰。構建大數據平臺，最終的目標是為了整合數據，讓所有的數據實現可視化管理，并且無論數據在企業內部還是云端，都能實現統一管理。多一個數據平臺，就意味著企業在進行數據整合時，會增加額外的成本，并且容易出現數據安全隱患。

當然，構建一個能覆蓋所有環境的大數據平臺，也不是一件容易的事。大多數時候，一個供應商的解決方案也沒那么全面，比如：有的提供了查詢功能，但治理方面差了一些;有的雖然解決了大數據的規模化處理，但后期的數據遷移成為一大挑戰。所以，企業擁有多個企業提供的數據管理解決方案，可能是一種常態。

如果企業選型選對，基于標準的數據架構來打造打造大數據平臺，那意味企業擁有了先天的一站式大數據平臺管理能力，后期可以通過各種工具和手段進行數據的標準化管理。

比如：基于Data Fabric，企業從設計之初開始，就擁有了一個可靈活擴展、多次復用和持續優化的數據管道，技術開發人員可以根據服務和語義，支持復雜環境部署，通過資源的靈活調度，交付各種應用。