[[380261]]

本文轉載自微信公眾號「五分鐘學大數據」，作者園陌。轉載本文請聯系五分鐘學大數據公眾號。

風起云涌的大數據戰場上，早已迎百花齊放繁榮盛景，各大企業加速跑向“大數據時代”。而我們作為大數據的踐行者，在這個“多智時代”如何才能跟上大數據的潮流，把握住大數據的發展方向。

前言

大數據起源于2000年左右，也就是互聯網高速發展階段。經過幾年的發展，到2008年 Hadoop 成為 Apache 頂級項目，迎來了大數據體系化的快速發展期，到如今 Hadoop 已不單單指一個軟件，而成為了大數據生態體系的代名詞。

自2014年以來，國內大數據企業層出不窮，可以用“亂花漸欲迷人眼”形容現狀，也是在這一年，我國《政府工作報告》首次提出“大數據”，大數據作為一種新興產業正式登陸中國舞臺。之后，又上升至國家戰略。自此“大數據”這三個字頻繁出現在各大媒體上。

在大數據的發展歷程中，互聯網企業是布局較早且融合較深的行業之一。因其互聯網屬性的優勢在大數據領域布局較早。

而提到國內互聯網大數據企業，就不得不提國內互聯網三巨頭(百度、阿里、騰訊)，三巨頭的大數據業務圍繞其自身業務發展而成：百度重算法、阿里重電商、騰訊重社交，出于自身戰略，三巨頭在大數據領域的布局方面各有重心，反映出其企業發展方向的戰略和思路。

BAT的大數據產業

BAT 是我國互聯網企業中大數據布局較早也是較具有競爭優勢的公司。其中，阿里布局大數據產業最早，騰訊次之，百度則最晚。

阿里

阿里大數據發展戰略在 2008 年提出，隨后圍繞電商業務，阿里在數據集群、數據倉庫等方面做出了部署。

如今，提到阿里大數據，可以從兩方面來作觀察：一是以阿里電商業務基礎建立起來的阿里數據;二是阿里云。

阿里數據以淘寶、天貓、阿里媽媽等平臺為業務線，通過數據采集、數據計算、數據服務、數據應用等環節，形成從數據采集到數據應用的閉環系統

阿里云則主要以在線公共服務的方式，為用戶提供云服務器、云數據庫、云安全等云計算服以及大數據、人工智能服務、精準定制等基于場景的行業解決方案。創立于 2009年，如今，阿里云已成為全球前三大公共云服務提供商。

另一方面阿里也是十分有遠見的，早在15、16年開始做Flink，深耕布局、落地雙11、孵化Blink，據稱搞了上百人的團隊，在國內外的技術會議上不斷宣傳推廣，在2019年開年，阿里以9000萬歐元收購了Apache Flink母公司Data Artisans，將Flink收入囊中，目前，Flink 可以稱之為 Apache 基金會中最為活躍的項目之一，在 GitHub 上其訪問量在 Apache 項目中位居前三。同時，在全球范圍內，優步、網飛、微軟和亞馬遜等國際互聯網公司也逐漸開始使用 Apache Flink。

騰訊

2009 年 1 月，騰訊搭建第一個 Hadoop 集群，標志著騰訊大數據之路正式開啟。

與阿里不同，騰訊大數據主要圍繞其社交、游戲業務展開。坐擁著海量的用戶數據。

基于微信、QQ 等社交工具，通過對移動用戶的數據分析，建立用戶個人畫像(如用戶的社會關系、性格稟賦、興趣愛好等)提供相應的營銷服務。

工具，工具主要有騰訊移動推送信息“信鴿”，同樣也是圍繞騰訊的社交用戶數據開發而成，提供向用戶推送消息的服務。

騰訊云，起步比阿里云晚幾年，目前暫時落后于阿里云，但是云計算市場是一個馬拉松賽，起步早是一方面，但最終還是要看誰能堅持到最后。

之前看過一篇資訊，中國IT領袖峰會在深圳舉行，在一個對話環節。

李彥宏說：“云計算這個東西不客氣一點講它是新瓶裝舊酒，沒有新東西。”

馬化騰說："云計算讓計算能力、處理能力甚至邏輯組件都能夠像水和電一樣使用，的確是有想象空間的，但可能你過幾百年、一千年后才可能實現，現在還是確實過早了。"

馬云大概意思：“云計算這個東西應該好好做，今天就應該做，如果阿里巴巴不做云計算，騰訊、百度會把阿里巴巴趕出電子商務門口。“

從對話中能看出馬云的眼光很好。李彥宏和馬化騰雖都是技術出身，但沒有一個教師出身的馬云眼光長遠。

另一點，騰訊相比其他巨頭在技術方面要低調不少。技術大牛很少出來做報告，更不會向百度、阿里那樣主動包裝宣傳技術大牛。其技術雖然低調，但執行力很強。據騰訊的程序員朋友說封閉開發、集體加班是常有的事情。但配套的重金激勵也能跟上。重金之下必有勇夫!

百度

BAT 中，百度大數據戰略提出時間最晚，但舉措頻頻。

2013 年，百度成立深度學習實驗室(IDL)，發力人工智能。

2014 年，百度對外宣布開放“大數據引擎”，以開放云、數據工廠和百度大腦三個為核心組件，

通過平臺化和接口化的方式，對外開放其大數據存儲、分析和智能化處理等核心能力。作為全球首個開放大數據引擎，百度“大數據引擎”已與政府、非政府組織、制造、醫療、金融、零售和教育等傳統領域展開合作。

同年 8 月，百度與聯合國宣布啟動戰略合作，共建大數據聯合實驗室 (bdl)，探索利用大數據解決全球

性問題的創新模式。

2017 年 3 月 2 日，百度揭牌深度學習技術及應用國家工程實驗室，“國字號”AI實驗室落戶百度。

可以看出，百度不同于阿里和騰訊基本以自身業務布局大數據，其大數據布局側重于新方向，在人工智能上尤其突出。不過，梳理百度大數據的數據產品可以發現，其大數據產品涉及數據分析、數據風控、數據營銷等，布局較廣。

大數據領域分析

大數據技術發展到如今，已經形成了完備的體系結構及應用方向，技術迭代速度非常快，新框架層出不窮，大數據應用方向不斷細化，從業人員越來越多。

大數據時代，數據量大，數據源異構多樣，數據時效性等特征催生了大量的新技術需求。在這樣的需求下，誕生了規模化并行處理(MPP) 的分布式計算框架;面向海量的非結構化數據，出現了 Hadoop、Spark等生態體系的分布式批處理框架;面對時效性及實時處理的需求，出現了Flink、Spark Streaming等分布式流處理框架。

下圖為 Apache 生態下的大數據框架：

未來在 Apache 中孵化成功的大數據框架會越來越多，大數據生態體系會越來越完善，也意味著大數據的門檻會越來越低，入行的人越來越多。所以為了我們不被時代所淘汰，需要不斷學習，前期學習廣度，后期專注深度。潛心一技，練到極致!

應用層面：

大數據在應用層面劃分了以下幾個大類：金融大數據、營銷大數據、交通物流大數據、醫療大數據、教育大數據、文娛大數據等。

我們接下來以大數據科研及大數據企業兩方面進行分析：

1. 大數據科研

自 2012 年大數據廣泛實際應用以來，產業界和學術界在大數據技術與應用方面的研究創新不斷取得突破，大數據領域的論文發表數量快速增長。

以下為 2012-2020年全球大數據論文發表數量及各國占比：

數據來源：Web of Science，2020年10月

從上圖可以看出，論文發表數量在2018年達到頂峰，是2012年的5.4倍，年增長率為 32.5%，隨后2019年論文數量開始下降，2020年全年數量預計較去年還會近一步下滑，這也說明隨著科學研究的不斷進展，大數據的相關理論體系逐漸成熟，未來學術論文發表增長速度或將放緩。

從國家來看，中國和美國仍然是大數據學術研究的核心地帶。發表的論文數量遙遙領先于其他國家。未來在大數據領域，應該還是以中國和美國為首，帶領大數據技術走向更高的水平。

再來看國內大數據產業的發展狀況，根據工業和信息化部發布的數據顯示，2019年我國以云計算、大數據技術為基礎的平臺類技術服務收入2.2萬億元，其中，典型云服務和大數據服務收入達3284億元，提供服務的企業達2977家，由此可見，大數據產業發展日益壯大。

2. 大數據企業

大數據企業數量增長統計

數據來源：中國信息通信研究院，2020年10月

從上圖可以看出國內大數據企業在 2014 年、2015 年呈現爆發式增長，而在 2016 年

后又有回落，這與大數據在我國的發展狀況相對應。2014 年被稱為大數據元年，隨后在國家政策的支持下，各大數據企業應運而生，之后隨著創業者的冷靜，大數據企業也趨于減少。

是否有國資背景

數據來源：數據觀

大數據行業雖然有國家政策的支持，但大部分還是以私企為主，具有國資背景的企業較少，只占總體的 13%。

大數據企業地域分布

數據來源：中國信息通信研究院，2020年10月

由表中數據可以得出，北京是大數據企業的“高發區”，占比為35%，其次是廣東(18%)，之后是上海(16%)，然后是浙江(8%)，所以我國大數據企業主要分布在北京、廣東、上海、浙江等經濟發達省份。

大數據行業應用企業類型分布

數據來源：中國信息通信研究院，2020年10月

從圖中可以看出大數據涉及的行業是非常廣泛的，其中以金融、醫療健康、政務為大數據行業應用的主要類型。除此之外依次是互聯網，教育，交通運輸，電子商務等。

大數據獲投輪次分布

數據來源：中國信息通信研究院，2020年10月

從上圖看出獲 天使輪、A 輪 融資企業較多，說明我國大數據企業數量雖然眾多，但大部分處于初級階段，技術能力、技術落地能力有待提高。另一方面也說明投資機構對大數據市場依然充滿信息，對未來估值抱有很大期望。

大數據未來發展趨勢

以下觀點來源：中國信息通信研究院

1. 以控制成本為主要理念

大數據自誕生以來始終沿襲著基于Hadoop或者MPP的分布式框架，形成了具備存儲、計算、處理、分析等能力的完整平臺，大數據分布式框架采用存儲與計算耦合，使數據在自身存儲的節點上完成計算，以降低交互。

但是實際業務中數據存儲與計算能力要求不同且各自獨立的。在存儲與計算耦合的情況下，當二者之一出現瓶頸時，資源的橫向擴展必然導致存儲或計算能力的冗余，造成難以避免的額外成本。

存儲與計算分離有效控制成本。存儲與計算在數據的生命周期中剝離開，形成兩個獨立的資源集合。兩個資源集合之間互不干涉又通力協作，使得單位資源的成本盡量減少，同時兼具充分的彈性以供橫向擴展。這種模式應是未來的發展方向。

目前國內外眾多廠商已深入進行了存算分離的實踐。國內像阿里云使用自身 EMR+OSS產品代替原生 Hadoop 存儲架構，整體費用預估下降 50% 。華為使用自身 FusionInsight+EC，存儲利用率從 33% 提升至 91.6%。

國外像 Snowflake 公司提出的數據倉庫服務化(DaaS)，將分析能力以云服務的形式在AWS等云平臺上提供按次計費的服務。

2. 自動化智能化需求緊迫

目前大數據領域的數據管理依賴人工操作，成本巨大。在基于機器學習的人工智能不斷進步的情況下，更加自動化智能化的數據管理平臺將會助力數據管理工作高效進行。

其中以 數據建模、數據標簽、主數據發現、數據標準應用成為主要的應用方向。

3. 圖分析需求旺盛

以社交網絡、用戶行為、網頁鏈接關系等為代表的數據，往往需要通過“圖”的形態以最原始、最直觀的方式展現其關聯性。

所以專注于圖結構數據的圖分析技術成為數據分析技術的新方向。與圖分析相關的技術成為熱點的產品方向，其中以圖數據庫、圖計算引擎、知識圖譜三項技術為主。

根據 DB-Engines 排名分析，圖數據庫關注熱度在2013-2020年間增長了10倍，關注度增長排名第一。國內阿里云、華為、騰訊、百度等廠商及部分初創公司已布局這一領域。

4. 隱私計算技術熱度上升

在數據合規流通需求旺盛的環境下，隱私計算技術發展火熱，隱私計算為實現安全合規的數據流通帶來了可能。

目前隱私計算主要分為多方安全計算和可信硬件兩大流派。其中多方安全計算基于密碼學理論;可信硬件依賴對安全硬件的信賴。

此外，還有聯邦學習、共享學習等通過多種技術手段平衡安全性和性能的隱私保護，也為跨企業機器學習和數據挖掘提供新的解決思路。