[[386838]]

隨著整個IT生態(tài)的進(jìn)一步發(fā)展，在2021年，IT從業(yè)人員對大數(shù)據(jù)的發(fā)展趨勢有一個普遍的共識，就是大數(shù)據(jù)和云計算的進(jìn)一步深度融合的趨勢，即大數(shù)據(jù)擁抱云計算，走向云原生化。

明哥在這里，跟大家一起看下，大數(shù)據(jù)與云計算的深度融合的趨勢下，深度融合具體體現(xiàn)在哪些地方。

大數(shù)據(jù)與云計算的深度融合，體現(xiàn)在以下幾個方面：

一、應(yīng)用方的大數(shù)據(jù)平臺上云：使用大數(shù)據(jù)技術(shù)的業(yè)務(wù)應(yīng)用建設(shè)方，不再自建數(shù)據(jù)中心，而是將大數(shù)據(jù)平臺搬到了云上，有的是在云廠商的 IaaS 層上自建大數(shù)據(jù)平臺，現(xiàn)在以這種方式在云上使用大數(shù)據(jù)的案例已經(jīng)比較少了，有的直接使用云廠商提供的 PaaS 層大數(shù)據(jù)相關(guān)產(chǎn)品，有的甚至直接使用云廠商推出的 SaaS層大數(shù)據(jù)相關(guān)產(chǎn)品。現(xiàn)在“上云”有一點趨勢需要強調(diào)下，就是大家都很重視不 vendor-lockin，底層的云可能是多個公有云和私有的融合的 hybrid-cloud;

二、云計算廠商在不斷推出自己基于大數(shù)據(jù)的各種增值服務(wù)：為了提高自己的市場競爭力，以進(jìn)一步鞏固/拓寬自己的市場地位，各大云廠商也在積極推出自己整合的大數(shù)據(jù)相關(guān)產(chǎn)品，有最基礎(chǔ)的 s3/oss, emr/e-mapreduce，有上文的aws redshift,阿里云的maxcompute，除此之外，還有各種云上數(shù)據(jù)庫，云上 serverless 形態(tài)的各種大數(shù)據(jù)服務(wù)等等，這個名單還在不斷增長中，以下截圖可見一斑：

三、各傳統(tǒng)大數(shù)據(jù)廠商已經(jīng)轉(zhuǎn)向依托云來提供自己的產(chǎn)品和服務(wù)：如 elastic 很早就開始基于云交付自己的elk 技術(shù)棧了，如databricks的大數(shù)據(jù)平臺和產(chǎn)品一直都是基于云來向客戶提供服務(wù)的，如 cloudera 不斷探索改變自己的商業(yè)模式;

四、各個具體的大數(shù)據(jù)組件都在主動改變自身架構(gòu)，積極向云原生靠攏以“云化”：從理念層面講，大數(shù)據(jù)已經(jīng)從最早的強調(diào)“數(shù)據(jù)本地性”和“移動數(shù)據(jù)不如移動計算”的理念，演進(jìn)到了現(xiàn)在的強調(diào)“存儲計算分離”的理念。各個新推出的組件和框架主動擁抱云原生，如pulsa，TiDB等都是依托于存儲計算分離的云原生架構(gòu);各個傳統(tǒng)的組件雖然有歷史包袱，也在不斷求新求變，如flink/spark都深度整合支持了kubernetes集群模式;如kafka也在不斷探索如花云化：包括完全去掉zookeeper依賴，包括Rebalance Protocol的 Static Membership等;正如古語所言，“順則昌不順則亡”，一些不適應(yīng)云原生架構(gòu)的技術(shù)組件，其市場正在不斷萎縮，如很多場景下，kubernetes都替代了yarn,對象存儲oss/s3等也在替代hdfs ，我們也注意到了apache 社區(qū)推出的Ozone，該組件在對象存儲的基礎(chǔ)上，也融合推出了文件系統(tǒng)api，該組件的背后有很多原h(huán)dfs社區(qū)的committer在貢獻(xiàn)代碼，在cloudera的cdp平臺中也內(nèi)嵌支持了該組件。下圖展示了flink/spark跟kubernetes的深度整合：(注意不是簡單的使用k8s operator將spark/flink作業(yè)運行在k8s集群中，而是native的深度的整合)