Hadoop將死？Cloudera CEO怒懟Gartner
大數(shù)據(jù)已經(jīng)過了炒作階段，但即使是現(xiàn)在，提到大數(shù)據(jù)很多人首先會想到hadoop，但最近多份分析報告和趨勢預(yù)測的文章所傳遞出的聲音，讓Hadoop再度成為了爭議的焦點。年初的調(diào)查，Hadoop被列為2018年大數(shù)據(jù)領(lǐng)域的“漸凍”趨勢之一，不少人將Hadoop稱作“倒下的大象”，比如Lucidworks首席執(zhí)行官Will Hayes。
這其中又以知名IT研究與顧問咨詢公司Gartner發(fā)布的《2017年數(shù)據(jù)管理技術(shù)成熟度曲線》最具威力，報告用極其顯眼的紅色標(biāo)識出Hadoop在到達(dá)“生產(chǎn)成熟期”之前即被淘汰。(注：《數(shù)據(jù)管理成熟度曲線》跟蹤數(shù)據(jù)庫及大數(shù)據(jù)服務(wù)的商業(yè)環(huán)境和技術(shù)發(fā)展，關(guān)注每項技術(shù)在應(yīng)用中的狀態(tài)以及其商業(yè)模式的變化)
除此之外，Gartner的調(diào)查還揭示了Hadoop使用量的下滑，Gartner還預(yù)測，到2018年,70%的Hadoop部署將無法實現(xiàn)節(jié)約成本和收入增長的目標(biāo),主要原因是技能不足和技術(shù)整合困難。
事實上，這并不是Gartner首次唱衰Hadoop，其最早可追溯到2013年，也就是5年前，Gartner研究總監(jiān)Svetlana Sicular就曾發(fā)文稱Hadoop過時了。
Gartner為何如此不看好hadoop?到底是基于怎樣的原因?據(jù)參與過Gartner該Topic探討的相關(guān)人士向老魚透露，主要有以下幾個方面的原因：
Hadoop的一體化平臺商業(yè)模式已經(jīng)結(jié)束，原有的Hadoop廠商必須用實際解決問題的場景和案例來讓用戶買單。越來越多的工具出現(xiàn)，讓企業(yè)有了更多的選擇，因此，企業(yè)更看中結(jié)果而非綁定一個固定的平臺。Hadoop作為技術(shù)還是持續(xù)發(fā)展，但只能作為技術(shù)一環(huán)，不像之前是在大數(shù)據(jù)的核心。
實時性和SQL的需求也一定程度限制了Hadoop在線業(yè)務(wù)數(shù)據(jù)管理場景的發(fā)展。
隨著Hadoop幾大廠商對于開源項目的控制力的不斷增強，使得開源項目在發(fā)展路徑上出現(xiàn)了一定的分化，也使得hadoop主項目的發(fā)展遇到了一些阻礙。
在Hadoop生態(tài)系統(tǒng)中有三大發(fā)行商，分別是Cloudera，Hortonworks和MapR，Cloudera是其中最突出的，這不僅是因為其在2014年從英特爾獲得了7.4億美元的投資，自從去年上市以來，雖然Cloudera的股票表現(xiàn)并不盡如人意，但很少有人會否認(rèn)它是市場的領(lǐng)導(dǎo)者。Mike Olson是Cloudera四位創(chuàng)始人之一。
▲Cloudera創(chuàng)始人Mike Olson
近日，Cloudera創(chuàng)始人Mike Olson在國外接受采訪時，對Gartne報告中關(guān)于Hadoop的觀點進(jìn)行了駁斥，并談到了他的看法。以下為Mike Olson受訪內(nèi)容節(jié)選：
Mike Olson表示，Gartner對Hadoop的結(jié)論我并不認(rèn)同，有很多客戶在我們的平臺上執(zhí)行關(guān)鍵業(yè)務(wù)，我不清楚Gartner到底跟誰討論得出的這一結(jié)論。
我想說，我們不僅是看好，更為重要的是，我們在一些方面已經(jīng)取得了很大的成功。例如：通如過使用Impala等工具進(jìn)行高性能分析查詢，企業(yè)可以在擴展平臺上為其傳統(tǒng)關(guān)系工作負(fù)載的某些部分提供替代方案。
我們已經(jīng)公開表示，我們已有超過1000名客戶，全球8000個多個客戶使用該平臺生產(chǎn)進(jìn)行一系列嚴(yán)苛工作負(fù)載。
如果你對Gartner技術(shù)成熟度曲線有所了解，比如預(yù)期通常是高漲的，中間會出現(xiàn)低谷，最后達(dá)到生產(chǎn)力的高峰期。或許，Gartner目前的下滑預(yù)測無非是證明該技術(shù)正處于低谷時期，并且整個行業(yè)的生產(chǎn)力水平也是如此，因此，我們不得不接受這一結(jié)果。
因此，我不得不懷疑，Gartner是否看到的是10年前的Hadoop，而非現(xiàn)在。早期的Hadoop只有MapReduce和HDFS，確實非常有限，但它并不是Hadoop的全部，現(xiàn)在有26個不同的開源項目，包括Spark，其中有18種是Cloudera創(chuàng)建的，這是一個比過去更廣闊、更有能力的生態(tài)系統(tǒng)。
