【51CTO.com原創稿件】大數據和大數據分析成為時下企業關注的焦點，大數據分析平臺正在從企業的高配變為標配，是企業實現“一切業務數據化，一切數據業務化”目標的基礎平臺。本期《大咖來了》邀請了阿里云智能高級解決方案架構師鮑遠松，分享主題為《零門檻構建彈性大數據云分析平臺》，過程中對大數據分析平臺建設進行階段劃分，并對每階段進行了詳盡的闡述。

如下圖，為大數據分析平臺建設的四個階段，分別是自建、云托管、云服務和云原生。

大數據分析平臺建設之自建

為什么要自建大數據分析平臺呢？主要原因有三：其一、傳統大數據分析技術已經不能滿足大數據分析，需要通過引入新技術進行提升；其二、早期大數據技術相對不成熟、不可靠，需要專門的技術人才去研究；其三、市場上缺乏有效的大數據分析的成功案例和實踐，企業必須摸著石頭過河。

自建大數據分析平臺屬于重資產模式，存在多方面不足，主要有如下幾點：

周期長：整個建設周期特別長，涉及機房選擇、硬件采購、集群部署、測試調優、數據服務、運維管理等諸多環節。

成本高：成本分為兩類，一類是服務器、存儲、網絡、運維、IDC等顯性成本，另一類是業務影響、資源閑置、彈性擴容、一次性資金投入等隱性成本。這些成本的投入是確定的，但產出卻是未知的。

門檻高：近些年大數據技術蓬勃發展，數據集成、數據存儲、分析計算及數據作業每個維度都有很多細分的技術，任何一個技術都需要投入專人進行深入研究，對于普通企業來說人才門檻很高。

見效慢：大數據分析平臺需要自始至終不斷地進行迭代和修正，直至數據質量符合預期，數據分析結果可信，才能真正達到極致彈性性能、高可靠、多場景應用的效果。

大數據分析平臺建設之云托管

自建大數據分析平臺種種不足的背景下，云托管應需而生，原因有三：其一、企業甩掉重資產的包袱；其二、大數據技術趨于成熟，企業不再聚焦于大數據技術本身，而是需要一批具有大數據技能的人來做大數據的開發；其三、云廠商結合自身的優勢，提供了云上大數據托管平臺。

自建大數據分析平臺通常是基于開源Hadoop平臺，而云托管是把自建開源Hadoop平臺轉化為企業級、標準型大數據分析平臺，具備統一集群管理、完備的監控報警、計算與存儲分離、彈性擴容、按需構建、數據安全、低門檻運維、豐富云生態對接等優勢。

EMR提供了基礎資源、平臺管理、數據存儲、數據集成、計算引擎、數據使用和作業管理等平臺能力，對于所有組件都提供了完備的監控報警，任何組件異常都可以第一時間做報警并且通知到用戶，同時基于平臺提供了智能的運維管理、調度等功能。

接下來我們從基礎設施、運維管理、云生態等角度，詳細了解下云托管的部分優勢。

云托管之基礎設施

首先，云上有豐富的產品規格族，阿里云整個虛擬機分為通用計算、異構計算、裸金屬&高性能計算三大類，每一類滿足不同的場景，可以快速構建不同場景下的大數據分析平臺；其次，利用云的彈性，計算和存儲資源可以進行獨立擴充，滿足業務高峰期或業務對極致性能的追求的同時，還可以靈活的按需構建；最后，云上構建大數據分析平臺在成本上可以做大量優化，可以根據業務特性靈活選擇購買方式，如通過Spot Instance 大幅降低計算節點的成本。

云托管之運維管理

運維整個大數據分析平臺非常復雜，需要專業的人才和大量的投入。從基礎運維到管理運維，再到組件運維，云廠商提供了多維度運維能力。

基礎運維：云廠商借助自身大規模服務器運維經驗構建AlOps系統，可以提前對硬件做檢測分析、發現故障后快速進行主動運維，減少對業務的影響。

管理運維：EMR實現一鍵部署、開箱即用，還提供統一的配置管理、平臺狀態監控和故障報警等功能。

組件運維：組件運維是大數據分析平臺最復雜的部分，當進行版本升級時，由于組件之間存在著千絲萬縷的關聯，保證兼容是重中之重。組件運維還有一個很重要的點就是性能優化，云廠商會結合自身云計算優勢對底層基礎設施進行優化，對內核引擎進行優化，幫助開源組件提升性能。

云托管之云生態

云上有豐富的生態，避免后來者重復造輪子或從零開始，如下圖。

底層存儲在云上可以提供OSS對象存儲、HDFS存儲，HDFS存儲可以直接去無縫訪問OSS對象存儲，與訪問HDFS文件沒有任何差別，這樣一來，就可以靈活的進行數據歸檔和成本調優。

在數據源方面， 支持OSS、SLS、RDS、消息隊列等服務作為數據源；在計算引擎方面，云上EMR平臺可與MaxCompute、Flink、Tensorflow引擎進行打通；在融合方面，云上提供DataWorks服務，通過DataWorks可以把Hadoop整個上層元數據的管理、數據質量管理進行統一。除此之外，云上還提供DataV、QuickBI等分析展示能力。

除以上概述內容外，后續還有云服務和云原生等方面更多干貨，請戳視頻進行觀看： http://aix.51cto.com/activity/10019.html

【51CTO原創稿件，合作站點轉載請注明原文作者和出處為51CTO.com】