Hadoop亂象

雅虎開發(fā)者Doug Cutting六年前創(chuàng)建了一個(gè)用于管理，存儲(chǔ)和分析大量數(shù)據(jù)的平臺，用他兒子的玩具大象命名，并把它交給阿帕奇軟件基金會(huì)。鑒于圍繞Hadoop建立的 整個(gè)行業(yè)的迅速，這會(huì)使某些人覺得非常驚訝，那就是阿帕奇軟件基金會(huì)最近才推出了Apache Hadoop 1.0——被認(rèn)為是足夠穩(wěn)定而成為“企業(yè)就緒”的***個(gè)版本。

但這并沒有延緩創(chuàng)業(yè)和建立供應(yīng)商加入Hadoop的隊(duì)伍。隨著大數(shù)據(jù)這一熱點(diǎn)，解決方案提供商需要跟上行業(yè)中的關(guān)鍵角色。以下就是圍繞Hadoop的11個(gè)創(chuàng)新業(yè)務(wù)。

1. Cloudera

Cloudera，成立于2008年，也許是最成立的年輕的致力于 Hadoop的公司。 帕洛阿爾托，加州公司提供了一個(gè)Apache Hadoop軟件的商業(yè)發(fā)行版叫做Cloudera Enterprise，它包括支持，咨詢服務(wù)，培訓(xùn)和一個(gè)稱為Cloudera Management Suite的軟件。

一個(gè)例子說明了Cloudera的技術(shù)如何尋求廣泛使用，Oracle在一月表示它已經(jīng)將Cloudera的Hadoop發(fā)行版和Cloudera Manager整合到Oracle Big Data Appliance中。

Cloudera在2009年聘請Doug Cutting擔(dān)任“架構(gòu)師”時(shí)有了炫耀的資本。Cutting是原阿帕奇軟件基金會(huì)Hadoop項(xiàng)目的創(chuàng)始人并且是現(xiàn)任董事。

2. Datameer

業(yè)務(wù)產(chǎn)生和存儲(chǔ)的數(shù)據(jù)量每三年翻一番。加之?dāng)?shù)據(jù)是結(jié)構(gòu)化和非結(jié)構(gòu)化信息的混合體這一事實(shí)，往往分散在不同的IT系統(tǒng)，對于有商業(yè)智能項(xiàng)目的任何公司都是一個(gè)嚴(yán)重的挑戰(zhàn)。

Datameer分析解決方案始于Datameer(2009年于加州圣馬刁成立)，用一個(gè)電子表格界面與Apache Hadoop結(jié)合，幫助企業(yè)用戶對非常大的數(shù)據(jù)集進(jìn)行分析——多種來源的結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)——無需編程。

雖然分析大型數(shù)據(jù)一直是一個(gè)大的公司難題，但Datameer作出令人信服的觀點(diǎn)：中小企業(yè)現(xiàn)在面臨著類似的挑戰(zhàn)，成本低的商品存儲(chǔ)使收集大量的數(shù)據(jù)在經(jīng)濟(jì)上可行的。

3. Hadapt

Hadapt稱其Hadapt自適應(yīng)分析平臺結(jié)合了Hadoop和關(guān)系數(shù)據(jù)庫管理軟件的優(yōu)點(diǎn)成為一個(gè)單獨(dú)的數(shù)據(jù)平臺。其成果就是一個(gè)高性能分析系統(tǒng)，對結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)都能很好處理。

公 司成立于2010年七月，在十月的***輪融資公司募集950萬美元并在十一月推出了Hadapt 1.0，為潛在客戶試用。依照公司稱，該軟件對Hadoop和其蜂巢數(shù)據(jù)倉儲(chǔ)技術(shù)做了“巨大的性能改進(jìn)”。軟件有云和企業(yè)版，不久還有一個(gè)免費(fèi)的社區(qū)版。 它們可運(yùn)行在所有主流的Hadoop發(fā)行版上，包括Amazon EMR, Apache, Cloudera, EMC, Hortonworks, IBM和MapR。

4. Hortonworks

2011年七月推出的Hortonworks是雅虎Hadoop工程團(tuán)隊(duì)的一個(gè)分拆，提供其自有的 Hadoop版本稱為Hortonworks數(shù)據(jù)平臺。相對年輕的公司，阿帕奇項(xiàng)目的貢獻(xiàn)者，這都被廣泛視為Cloudera的主要競爭對手。一月公司推 出Hortonworks數(shù)據(jù)平臺第二版，通過下一代MapReduce架構(gòu)提供更好的性能和可用性，用Hadoop分布式文件系統(tǒng)(HDFS)提高可擴(kuò) 展性，并且由HDFS名字節(jié)點(diǎn)的高可用性提高了數(shù)據(jù)完整性。

對了，加利福尼亞州，桑尼維爾，公司的名字來自于蘇斯博士的書《霍頓與無名氏》，為了符合Hadoop大象主題。

5. HStreaming

雖然Hadoop事實(shí)上也許是處理大量數(shù)據(jù)的引擎，但它主要用于批處理。實(shí)時(shí)分析數(shù)據(jù)把Hadoop的價(jià)值提升到一個(gè)全新的水平。這就是HStreaming的由來。

成立于2010年，位于芝加哥的HStreaming是一個(gè)建立在Hadoop上的可擴(kuò)展的，可持續(xù)的數(shù)據(jù)分析系統(tǒng)。它可以分析，可視化并處理大量連續(xù)數(shù)據(jù)——比如一個(gè)金融交易系統(tǒng)——實(shí)時(shí)。

6. Hyve Solutions

雖然大多數(shù)Hadoop相關(guān)的公司都是獨(dú)立創(chuàng)業(yè)，但Hyve Solutions是聯(lián)強(qiáng)IT經(jīng)銷商的一個(gè)部門。成立于去年，Hyve Solutions提供了成套的配置，稱為Big D Series 8，公司表示它能讓開發(fā)基于Hadoop的大數(shù)據(jù)分析系統(tǒng)在數(shù)天完成而不是數(shù)月。

Hyve Solutions平臺包含了Zettaset的基于Hadoop的容錯(cuò)系統(tǒng)，Arista Networks的云網(wǎng)絡(luò)設(shè)備，Solarflare Communications的網(wǎng)絡(luò)接口硬件和軟件，還有Fusion-io的閃存數(shù)據(jù)存儲(chǔ)技術(shù)。

7. Karmasphere

位于加州庫比提諾的Karmasphere稱自己為“大數(shù)據(jù)智能”***者，其軟件工具可從Hadoop提取和分析數(shù)據(jù)。

Karmasphere Analyst為信息分析員提供對Hadoop中結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)的訪問，使他們能夠進(jìn)行點(diǎn)對點(diǎn)查詢，對結(jié)果可視化并可操作。Karmasphere Studio提供了用于開發(fā)運(yùn)行于Hadoop自定義算法的工具。Karmasphere Analytics Engine(分析引擎)是公司軟件的基礎(chǔ)。

Karmasphere，2010年三月推出，已經(jīng)于幾乎Hadoop的所有供應(yīng)商和組織合作 過，包括阿帕奇軟件基金會(huì)，IBM，Cloudera，亞馬遜云計(jì)算服務(wù)(AWS)和Hortonworks。公司在二月推出Karmasphere Analyst 1.8，帶有新的并行查詢功能。

8. MapR Technologies

MapR Technologies提供了一個(gè)Apache Hadoop的發(fā)行版，將之與Cloudera和HortonWorks還有其他公司競爭。公司成立于2009年年六月，有一些關(guān)鍵優(yōu)勢，包括與EMC有 戰(zhàn)略聯(lián)盟，并且在八月的第二輪融資募集2000萬美元資金。

MapR位于加州圣若澤，十二月的MapR Hadoop發(fā)行版1.2有新的虛擬機(jī)功能，高性能的本地訪問庫，Mac和Windows客戶端，和利用MapReduce 2.0技術(shù)的能力。

9. Mortar Data

Mortar Data宣稱自己是“Hadoop，沒有復(fù)雜性”。總部設(shè)在紐約，該公司為那些“沒有充分利用數(shù)據(jù)”的客戶提供基于云的Hadoop服務(wù)，并表示它可以請客戶來且運(yùn)行不到一小時(shí)。

Mortar Data，成立于2010年，為客戶的大數(shù)據(jù)項(xiàng)目建立私有的，按需求的Hadoop集群，并使用Pig和Python建立“為執(zhí)行優(yōu)化過的工作”。亞馬遜 的S3云存儲(chǔ)用于數(shù)據(jù)讀寫。客戶只在運(yùn)行他們?nèi)蝿?wù)時(shí)支付，沒有與之相關(guān)的基礎(chǔ)設(shè)施和雇傭和培訓(xùn)工程師的費(fèi)用。

10. Tidemark Systems

Tidemark Systems，位于加州紅木城，開發(fā)其稱為***個(gè)企業(yè)級性能管理平臺和為云計(jì)算建立的應(yīng)用。因?yàn)門idemark EPM應(yīng)用系統(tǒng)是建立在Cloudera的Hadoop發(fā)行版基礎(chǔ)上，大數(shù)據(jù)隨之而來，它可以從海量復(fù)雜數(shù)據(jù)中進(jìn)行提取。

公司成立于2010年，Tidemark主要面向制造業(yè)，消費(fèi)電子產(chǎn)品，零售業(yè)和高科技公司上的應(yīng)用。一月公司從風(fēng)險(xiǎn)投資家和仁科創(chuàng)始人戴夫杜菲爾德獲得240萬美元的第三輪融資。

11. Zettaset

最早與2009年以GOTO Metrics的名字推出，Zettaset已經(jīng)開發(fā)出建立在Hadoop和其他用于聚集和大量數(shù)據(jù)分析的開源技術(shù)上的一個(gè)容錯(cuò)系統(tǒng)。依照公司所稱，該技術(shù)有助于掌控整個(gè)企業(yè)Hadoop系統(tǒng)的健康度，安全性和管理。

Zettaset位于加州山景城，在十二月推出其第四版，帶有新的服務(wù)管理特性和一個(gè)獨(dú)特的可視化用戶界面。公司在七月(獲得三百萬美元融資后)根據(jù)zettabyte更名——等于一百萬petabyte或一億terabyte的數(shù)據(jù)。

文章來源：http://cloud.doit.com.cn/article/2012/0416/9007432.shtml

【編輯推薦】

1. 淘寶Fourinone介紹及與Hadoop的性能PK
2. 2012年值得關(guān)注的12家Hadoop廠商
3. Hadoop集群搭建