Hadoop Summit 2013 Day2：信息大爆炸
今天參加了3個(gè)keynotes，42個(gè)session中的8個(gè)，和一大堆廠商討論技術(shù)，真是信息大爆炸的一天。
Hadoop從誕生到今年已經(jīng)有7個(gè)年頭，今年出現(xiàn)了很多新的變化：
1、Hadoop被公認(rèn)是一套行業(yè)大數(shù)據(jù)標(biāo)準(zhǔn)開源軟件，在分布式環(huán)境下提供了海量數(shù)據(jù)的處理能力（Gartner）。幾乎所有主流廠商都圍繞Hadoop開發(fā)工具、開源軟件、商業(yè)化工具和技術(shù)服務(wù)。今年大型IT公司，如EMC、Microsoft、Intel、Teradata、Cisco都明顯增加了Hadoop方面的投入，Teradata還公開展示了一個(gè)一體機(jī)；另一方面創(chuàng)業(yè)型Hadoop公司層出不窮，這次看到的幾個(gè)是Sqrrl、Wandisco、GridGain、InMobi等等，都推出了開源的或者商用的軟件。
2、Hadoop生態(tài)系統(tǒng)豐富多彩，但是核心已經(jīng)被Cloudera、HortonWorks牢牢掌控，基本上沒有撼動(dòng)之可能。今年Hortonworks的宣傳是100% open source，Cloudera只好干著急，誰叫他不開放Cloudera Enterprise Manager的源代碼呢？Hortonworks介紹Ambari的時(shí)候，會(huì)場至少5個(gè)Cloudera的工程師在仔細(xì)聆聽，有個(gè)小伙不停地在iPad上面速記，競爭可見一斑，個(gè)人估計(jì)，Cloudera早晚將Enterprise Manager開源。Hortonworks目前Ambari的committer是20+，Contributor 50+，后一個(gè)數(shù)字可能有些水，但是第一個(gè)是沒有問題的。目前每天有update，1.25版本比1.0x版本明顯好用了。其他大小廠商的生存之道就是搞插件，如Wandisco、vmware、mellanox、GridGain，而且插件均是不用修改內(nèi)核的外掛 - 這些廠商是沒有能力動(dòng)內(nèi)核的，持續(xù)投入可能會(huì)有一些作用，如vmware，但是一線hadoop廠商是絕不會(huì)松手的。
3、Hadoop 2.0轉(zhuǎn)型基本上無可阻擋。Hortonworks的VPArun在介紹Tez的時(shí)候，給出了很多有趣的ppt，主旨就是一個(gè)：MapReduce已經(jīng)是昨日黃花，Yarn將是未來并行計(jì)算的基礎(chǔ)設(shè)施。我自己還沒有使用Yarn，但是Hortonworks已經(jīng)圍繞Yarn開發(fā)了很多工具，尤其是Tez，這個(gè)玩意可以提升查詢計(jì)劃的執(zhí)行時(shí)間，PIG和Hive將被改寫并重裝上陣。Hortonworks雖然沒有搞出來Impala，但是從更底層的技術(shù)上包圍Impala，兩個(gè)老大的布局和較量始終沒有停止。
4、SQL over Hadoop是一個(gè)重要的技術(shù)趨勢。去年Hadoop World時(shí)，MPP還吹噓自己如何牛X。但是Google發(fā)布了Dremel和PowerDrill，EMC搞出來HAWQ，Cloudera搞出來Impala之后，所有的MPP都開始反思自己的技術(shù)路線。和Parccel技術(shù)人員（感覺是售前）討論了一下，她找出一張卡片說Parccel速度是Hive的100X，領(lǐng)先Impala10年。我感覺這個(gè)說話很快就會(huì)失靈，首先是Hive的優(yōu)化一直沒有停止，Hortonworks搞出來Tez、Stinger（與Facebook合作）。雖然MPP領(lǐng)先Hadoop很多年，根據(jù)80：20原則，如果hadoopSQL只做用戶需要的20%特性，那么這個(gè)差距最多2年，2年內(nèi)，hadoopSQL將在部分領(lǐng)域超越MPP。MPP企業(yè)的出路就是學(xué)習(xí)HAWQ。列存儲(chǔ)也是推陳出新，近期主要是ORC（MS和Hortonworks合作）、Parquet（Twitter和Cloudera合作），有木有看出來兩個(gè)巨頭PK的身影？有木有看到抱團(tuán)PK？這些技術(shù)在測試中均顯示出很大的優(yōu)勢
5、IT和開源單位合作廣泛。這個(gè)不僅僅存在IT廠商和開源之間，實(shí)際上開源之間也在密切合作。不太清楚合作的內(nèi)部信息，但是基本上有兩種模式：產(chǎn)品/軟件交叉集成（含管理系統(tǒng)集成）；合作開發(fā)和推廣。在技術(shù)方面就要求軟件有很好的架構(gòu)，提供開放的接口，這一點(diǎn)Ambari的設(shè)計(jì)和俺對(duì)HT的要求一模一樣，可以俺未能如愿，而Amabri已經(jīng)開發(fā)了好幾個(gè)版本。
6、技術(shù)上看，大數(shù)據(jù)和云的整合也是一個(gè)選項(xiàng)（注意，不是趨勢，而是選項(xiàng)）。今年新增了OpenStack相關(guān)議題，一些集成商和廠商也提出了云上Hadoop的適用場景。這個(gè)并不是適用于所有人，但是部分用戶可以因此獲益。Netflix是一個(gè)典型的例子，他們的實(shí)例都在AWS上面，顯然他們的hadoop是基于虛擬機(jī)的，和一個(gè)Netflix小伙子（日本人）交流，他們大約有2000個(gè)虛擬實(shí)例，基于EMR，并開發(fā)了Gennie管理系統(tǒng)。
要睡覺了，4小時(shí)后還有一場信息大爆炸！貼一張?jiān)谫e館小院乘涼，看到的小松鼠吧，也就距離我5米不到，真要贊一聲美帝的環(huán)境！
