“現(xiàn)在是企業(yè)應(yīng)用Hadoop的最佳時機。”Hortonworks公司首席技術(shù)官Jeff Markham在11月底舉行的2013中國Hadoop技術(shù)峰會上演講時表示。在本次峰會上，Hadoop進入2.0時代成了人們談?wù)摰慕裹c。Jeff Markham表示，Hadoop 2.0擁有更強大、更廣泛的符合企業(yè)用戶需求的新特性，彌補了Hadoop 1.0的不足之處，更符合企業(yè)用戶的需求。 

　　Hadoop改頭換面

　　Jeff Markham在介紹Hadoop 2.0的新特性時，記者聽到身后有人竊竊私語：“你看，Hadoop 2.0的框架中多了幾個奇怪的功能模塊。”是的，這些功能模塊中最重要的就是YARN。YARN其實是一個資源管理器，它從某種程度上說顛覆了Hadoop的數(shù)據(jù)處理核心MapReduce，能讓用戶以與批處理完全不同的新的交互方式來運行Hadoop。眾所周知，Hadoop的設(shè)計初衷是為了搜索和索引Web網(wǎng)頁，而負責(zé)操控數(shù)據(jù)的MapReduce擅長處理和分析非結(jié)構(gòu)化或半結(jié)構(gòu)化的數(shù)據(jù)，比如日志文件等，但并不適合處理所有類型的數(shù)據(jù)。隨著數(shù)據(jù)量的增長以及數(shù)據(jù)復(fù)雜性的增加，人們更希望能夠在一個集群中處理多種類型的應(yīng)用程序。這也是Hadoop 2.0誕生的背景。

　　有人認為，YARN本質(zhì)上就是Hadoop的新操作系統(tǒng)，它突破了MapReduce的性能瓶頸。Hadoop與YARN的組合更適合企業(yè)大數(shù)據(jù)的應(yīng)用。YARN的設(shè)計思想是將資源管理與作業(yè)調(diào)度/監(jiān)控功能分離，其架構(gòu)實現(xiàn)是通過一個全局的ResourceManager與若干個面向具體應(yīng)用程序的ApplicationMaster的組合，其中ResourceManager負責(zé)將資源分配到各個應(yīng)用程序，而ApplicationMaster負責(zé)運行和監(jiān)控任務(wù)。Jeff Markham表示：“加入YARN這一管理層，讓Hadoop可以更好地滿足企業(yè)級用戶對大數(shù)據(jù)平臺的需求。我們公司從安全、管理、配置等多個層面已經(jīng)為Hadoop 2.0進入企業(yè)做好了準(zhǔn)備。”

　　Hadoop 2.0已經(jīng)不是一個設(shè)想，而是實實在在的解決方案。中國本土的大數(shù)據(jù)公司星環(huán)信息科技(上海)有限公司(以下簡稱星環(huán)科技)就在峰會上宣布，正式推出融合Spark與Hadoop 2.0的大數(shù)據(jù)平臺產(chǎn)品Transwarp Data Hub。“企業(yè)用戶的一個共同想法是，更高效地處理更大量的數(shù)據(jù)，同時降低時延。”星環(huán)科技聯(lián)合創(chuàng)始人、CTO孫元浩介紹說，“以前，針對不同數(shù)量級的數(shù)據(jù)，人們會采用不同的處理技術(shù)，比如內(nèi)存技術(shù)、索引技術(shù)以及一些性能優(yōu)化技術(shù)等。Transwarp Data Hub的一個最突出的優(yōu)勢是，可以在一個平臺上處理從GB級到PB級的數(shù)據(jù)。”

　　正是因為Transwarp Data Hub具備了這樣的能力，所以它的應(yīng)用范圍十分廣泛，包括離線分析、統(tǒng)計與挖掘、在線存儲以及在線的基于內(nèi)存的高速分析等。Transwarp Data Hub將數(shù)據(jù)集成/ETL、大數(shù)據(jù)存儲和在線服務(wù)系統(tǒng)、基于內(nèi)存的高效計算引擎、高性能SQL、統(tǒng)計分析和機器學(xué)習(xí)等融為一體，實現(xiàn)了性能上的突破。用孫元浩的話說，Transwarp Data Hub具有“閃電”般的速度，其速度比開源Hadoop 2.0快10～100倍。此外，Transwarp Data Hub還具有強大的分析能力，并與Hadoop生態(tài)系統(tǒng)全面兼容。

　　以Transwarp Data Hub為核心，星環(huán)科技還與許多大數(shù)據(jù)廠商進行了合作，包括Revolution R、Informatica、Tableau等，將這些廠商的數(shù)據(jù)處理與分析工具進行整合，構(gòu)成了完整的大數(shù)據(jù)平臺。

　　降低應(yīng)用門檻

　　由于Hadoop本身的復(fù)雜性，以及企業(yè)中缺少相關(guān)的大數(shù)據(jù)專業(yè)技術(shù)人員，Hadoop若想在企業(yè)用戶中得到快速普及其實并不容易。因此，很多IT廠商紛紛向Hadoop拋出“橄欖枝”，有的提供基于Hadoop的硬件解決方案，有的則推出了Hadoop軟件的商業(yè)發(fā)行版，其目的只有一個，就是降低Hadoop的應(yīng)用門檻。

　　在本次峰會上，許多知名IT廠商，包括英特爾、VMware、華為等以及眾多電信運營、互聯(lián)網(wǎng)企業(yè)都現(xiàn)身說法，為Hadoop在中國的推廣站腳助威。英特爾亞太研發(fā)有限公司總經(jīng)理何京翔表示，除了發(fā)布Hadoop商業(yè)發(fā)行版以外，英特爾從硬件(包括處理器、固態(tài)硬盤等)、安全性、管理和優(yōu)化等多個角度對Hadoop提供全方位支持，目的就是讓Hadoop更能滿足企業(yè)用戶的需要。

本文出自 “郭濤的存儲世界” 博客，請務(wù)必保留此出處http://gtstorageworld.blog.51cto.com/908359/1339080