成本性能要兼得?簡化Hadoop云部署有高招
對于大數據管理和分析應用程序云服務，用戶的關注度正不斷增長，而為了應對這一趨勢，供應商已經開始努力簡化Hadoop的云部署流程，并試圖降低云端Hadoop的購買價格。
大數據和云計算現在對于Hadoop供應商和一些大數據技術公司來說，已經變得十分重要。這些公司正在嘗試使用新方法，來簡化用戶部署Hadoop云系統的步驟，并降低用戶的部署成本。
例如，Cloudera將計量功能加入其Cloudera Director工具中，以管理構建在Hadoop中的分布式集群。這允許Cloudera用戶采用一種基于使用的定價模型，而不必以節點為單位進行支付，這讓他們能夠運行一些因特定目的搭建起來的臨時系統，使用完后可以釋放資源，從而避免成本的上升。
在單個Cloudera Director實例的大數據云環境中，用戶現在可以在其中的多個區域內部署集群。此外，新版本的Cloudera Enterprise(一個基于Hadoop的大數據平臺)實現了在Amazon Simple Storage Service(S3)數據存儲上直接運行Apache Impala SQL-on-Hadoop 查詢引擎。這使得不需要移動數據到Hadoop分布式文件系統就可以實現查詢操作，這也為用戶在AWS云上部署臨時系統提供了便利。
按需定價以及對Impala-on-S3的支持，在Narasimhan Sampath看來是非常有用的，他是Choice Hotels International Inc.公司的系統架構師，這家公司在AWS云上運行著Cloudera-based集群，這些集群與Spark數據處理引擎和Kafka信息查詢系統等技術協同工作，以支持各種自助分析應用程序。
把你的集群遷移到云上
在Strata + Hadoop World 2016會談中，Sampath表示，Choice遵循了BYOC的方式，將自己的集群，以按需的方式部署到云環境。例如，營銷部門的集群可以部署到云中，完成一項工作，然后釋放資源。同樣地，開發團隊的集群每天運行12小時，然后在夜間關閉，以節省公司在AWS云上的投入。
Cloudera的計量定價方式非常適合這種情景，Sampath在會談結束后說道。“我并不需要購買500個(Cloudera)許可證，除非我無時無刻都在使用這些資源。這和亞馬遜的模型是一樣的。”
他補充道，Choice過去六個月與Cloudera進行了十分緊密的合作，試圖連接S3和Impala，Impala最初由Cloudera作為開源軟件發布。Choice使用S3作為數據存儲。Sampath說，Impala對新查詢的支持為BYOC策略提供了額外的靈活性。
Cloudera負責云產品營銷的主管David Tishgart表示，他們已經越來越樂意在客戶中推廣云。但直到現在，他們對臨時系統也沒有太好的解決方案，也不能隨便增加或減少工作負載。他承認，由于這個原因，大多數Cloudera用戶選擇了在云中長期運行集群，而不是采取臨時的方式。
追上Hadoop 云的腳步
隨著越來越多的用戶展示出對云的興趣，Clouder需要與Amazon Elastic MapReduce(EMR)，AWS提供的Hadoop云平臺進行競爭。此外，Cloudera還發現，自己在與微軟Azure HDInsight大數據云服務的競爭中也處于劣勢，該平臺基于Hortonworks Inc .的Hadoop的分布式環境。
根據Gartner分析師Merv Adrian所述，從用戶數量的角度看，EMR已經讓AWS成為了***的Hadoop供應商。AWS最初落后于其他Apache Hadoop競爭對手，但兩年前這種情況得以改變，現在AWS Hadoop用戶數比其他廠商總和還要多。
Hortonworks還專注于擴展Hadoop云功能，他們表示，HDInsight現在運行著2.5版的Hortonworks數據平臺(HDP)。此外，Hortonworks現在還支持Microsoft’s Azure Active Directory service 和Apache Ranger的集成。(Apache Ranger是一個用來管理Hadoop數據安全性和用戶訪問權限的框架)
盡管與微軟云環境關系密切，但Hortonworks也提供HDP的技術預覽版，以便AWS用戶使用Spark和Apache Hive搭建臨時集群。“我們了解所有云環境上的工作負載情況，”該公司主管全球營銷的高級副總裁Matt Morgan說道。
Paxata公司也開始使用云環境。這家自助服務數據準備軟件的供應商提供了一個新工具，叫做Paxata Connect，它可以匯總運行在不同Hadoop集群上的數據，其中也包括獨立云平臺中的數據。Paxata***產品官Nenshad Bardoliwalla說道，很多Hadoop的工作負載都已遷移到云，能夠創建“臨時”集群，運行特定的工作，然后釋放資源，這種模式的誘惑十分巨大。
