云端Hadoop又叫Hadoop即服務(HaaS)，這是平臺即服務(PaaS)的一個子類。

[[139313]]

Apache Hadoop是一種開源軟件框架，能夠?qū)Ψ植际郊荷系拇髷?shù)據(jù)集進行高吞吐量處理。Apache模塊包括Hadoop Common，這是一組常見的實用工具，可以通過模塊來運行。這些模塊還包括：Hadoop分布式文件系統(tǒng)(HDFS)、用于任務調(diào)度和集群資源管理的 Hadoop YARN以及Hadoop MapReduce，后者是一種基于YARN的系統(tǒng)，能夠并行處理龐大的數(shù)據(jù)集。

Apache還提供了另外的開源軟件，可以在Hadoop上運行，比如分析引擎Spark(它也能獨立運行)和編程語言Pig。

Hadoop 之所以廣受歡迎，就是因為它為使用大眾化硬件處理大數(shù)據(jù)提供了一種幾乎沒有限制的環(huán)境。添加節(jié)點是個簡單的過程，對這個框架沒有任何負面影響。 Hadoop具有高擴展性，能夠從單單一臺服務器靈活擴展到成千上萬臺服務器，每個集群運行自己的計算和存儲資源。Hadoop在應用程序?qū)用嫣峁┝烁呖捎眯裕约河布梢允乾F(xiàn)成的。

實際的使用場合包括：在線旅游(Hadoop聲稱它是80%的網(wǎng)上旅游預訂業(yè)務的可靠的大數(shù)據(jù)平臺)、批量分析、社交媒體應用程序提供和分析、供應鏈優(yōu)化、移動數(shù)據(jù)管理、醫(yī)療保健及更多場合。

它有什么缺點嗎? Hadoop很復雜，需要大量的員工時間和扎實的專業(yè)知識，這就阻礙了它在缺少專業(yè)IT人員的公司企業(yè)的采用速度。由于需要專家級管理員，加上廣泛分布的集群方面需要龐大的成本支出，從中獲得商業(yè)價值也可能是個挑戰(zhàn)。I

集群管理也可能頗為棘手。雖然Hadoop統(tǒng)一了分布式計算，但是配備和管理另外的數(shù)據(jù)中心、更不用說與遠程員工打交道，增添了復雜性和成本。結(jié)果就是，Hadoop集群可能顯得過于孤立。

云是救星嗎?

對 Hadoop用戶們來說，進入到云端并不是一個非此即彼的命題。一些擁有Hadoop專長的公司會選擇基礎設施即服務(IaaS)以改善集群管理，還會繼續(xù)在內(nèi)部管理Hadoop。本文將著重探討全面托管的在線Hadoop部署環(huán)境。我們稱之為Hadoop即服務(HaaS)，這是平臺即服務(PaaS)的一個子類。

將Hadoop作為一項基于云的托管服務來運行并不便宜，但是相比購買數(shù)量眾多的集群，它確實節(jié)省了資金。它還緩解了由Hadoop 專家來管理的要求，避免了長長的學習曲線。安裝的Hadoop大多數(shù)仍然會維持一個自助式門戶網(wǎng)站，用于分析及其他數(shù)據(jù)操作，而提供商管理所有的基礎設施、管理和處理操作。

此舉并非易事。Hadoop架構(gòu)需要一種具有高擴展性的動態(tài)環(huán)境，Hadoop專家對復雜的配置和軟件集成而言又必不可少。如果某家公司決定采用一項托管服務，它就沒必要雇用專家級員工，但托管服務會雇用。客戶對專長、定制配置和能力等方面的要求越高，服務的成本就越高昂。

不過，開支通常少于在現(xiàn)場運行部署的大型Hadoop系統(tǒng)，而且它確實降低了復雜性。IT人員可以制定政策，能夠從基于Web的控制臺來操作數(shù)據(jù)，而不是將員工時間和大量資金花費在集群和工作負載的管理上。提供商會管理日常任務和動態(tài)工作負載的自動化配置。服務還會處理數(shù)據(jù)、負責分配。

若干缺點

當然了，沒有任何技術是完美無缺的，包括HaaS。首先，公司需要把大數(shù)據(jù)移入移出云。這就帶來了延遲，IT人員得購買更粗的帶寬及/或購置數(shù)據(jù)遷移加速解決方案，以克服延遲。IT人員還要對HaaS提供商的性能級別和服務質(zhì)量做好摸底調(diào)查工作。下面是需要關注的幾項主要功能：

•提供商應該將數(shù)據(jù)永久性地存儲在HDFS。Hadoop不要求使用HDFS作為一種永久性數(shù)據(jù)存儲區(qū)，但是這么做具有明顯的優(yōu)勢。雖說在內(nèi)存中的緩存(In-Memory Cache)出現(xiàn)之前，使用HDFS作為永久性數(shù)據(jù)存儲區(qū)帶來了性能問題。而現(xiàn)在，活動進程出現(xiàn)在HDFS的內(nèi)存中的緩存，Hadoop使用后寫(write-behind)將數(shù)據(jù)存儲在磁盤上。這項功能現(xiàn)在將HDFS定位于一種數(shù)據(jù)倉庫，不需要購買第三方倉庫或抽取、轉(zhuǎn)換和加載(ETL)。查詢命中整個存儲區(qū)(包括緩存和HDFS)。又由于HDFS是Hadoop自帶的，它可以與Yarn和MapReduce無縫兼容。

•高度彈性的計算環(huán)境。Hadoop的核心能力就是為多種多樣的工作負載維護彈性集群。在運行基于云的Hadoop實例時，這個考量因素顯得尤為重要。你已經(jīng)在處理遠程連接至互聯(lián)網(wǎng)，無法忍受增添另一層延遲。Hadoop云提供商必須維持高度動態(tài)和高擴展性的環(huán)境。服務還應該能夠支持混合工作負載，比如數(shù)據(jù)消化和客戶數(shù)據(jù)分析。服務器和存儲容量應該能夠高度自動化地實時配置。

•不間斷運行。另一個考量因素是能夠在數(shù)據(jù)處理出現(xiàn)故障后恢復過來，不用重啟整個過程。Hadoop提供商應該具有不間斷運行能力，這不是件小事。要明確提供商支持不間斷運行，可以從失效的子服務開始部分重啟運行，而不是重啟整個任務。

Hadoop即服務提供商

許多大型云廠商為Hadoop服務提供商提供服務，包括惠普Helion、谷歌、亞馬遜、Rackspace和微軟Azure。然而，云廠商們可能提供自己的托管Hadoop服務，也可能不提供。本文介紹的廠商涵蓋Hadoop托管服務提供商，而不是僅僅涵蓋上面運行Hadoop的基礎設施。

Qubole 的主打服務是Hadoop即服務(HaaS)。Qubole數(shù)據(jù)服務提供了全面托管的按需集群，可以根據(jù)數(shù)據(jù)大小向上或向下擴展。Qubole與谷歌云(Google Cloud)達成了合作伙伴，使用谷歌的計算引擎(GCE)。 說到谷歌，面向Hadoop的谷歌云存儲(GCS)連接件讓用戶可以直接對存儲在GCS中的數(shù)據(jù)運行MapReduce任務，那樣就沒必要在內(nèi)部寫入數(shù)據(jù)、在本地Hadoop中運行。另外的數(shù)據(jù)連接件讓GCS用戶能夠?qū)Υ鎯υ诠雀鐳atastore和谷歌BigQuery中的數(shù)據(jù)運行 MapReduce。

Hortonworks數(shù)據(jù)平臺提供了企業(yè)級托管HaaS。Hadoop YARN能夠通過眾多操作來處理多個工作負載。Altiscale因特別定制的Hadoop云服務而大放異彩。它強調(diào)可靠的原生安全和合規(guī)、先進的管理服務、高度自動化以及全面的數(shù)據(jù)和語言集成。

亞馬遜提供了亞馬遜彈性MapReduce(EMR)作為一項Hadoop Web服務。EMR將客戶端數(shù)據(jù)和進程分配到動態(tài)EC2實例上。微軟Azure HDinsight也是一款基于云的Hadoop發(fā)行版。HDinsight是純Hadoop，并不含有另外的微軟軟件。安裝的系統(tǒng)可以同時處理來自多個數(shù)據(jù)位置的結(jié)構(gòu)化數(shù)據(jù)和半結(jié)構(gòu)化數(shù)據(jù)。

IBM BigInsights on Cloud基于Hadoop，把Hadoop核心服務和模塊與IBM管理控制臺、分析工具和查詢引擎整合起來。這個云版本將BigInsights作為一項Hadoop服務在IBM SoftLayer上運行。

最后，相比其名聲，Hadoop的采用速度并沒有得到應有的體現(xiàn)。對大數(shù)據(jù)有諸多要求的企業(yè)在廣泛采用它，因為它們有與之匹配的計算預算。但是許多中型企業(yè)、甚至企業(yè)級公司還沒有采用Hadoop，原因在于它很復雜，另外需要不斷優(yōu)化。

我們認為，只要Hadoop托管服務提供商優(yōu)化數(shù)據(jù)中心以提升性能，用戶知道加快數(shù)據(jù)轉(zhuǎn)移，托管Hadoop服務就會把多得多的企業(yè)用戶吸引過來。

原文標題：How to Choose a Hadoop as a Service Provider