Hadoop已死？Hadoop萬歲！
各種博客文章、雜志投稿中，“Hadoop已死”的說法死灰復(fù)燃，且又開始甚囂塵上。近年來，Cloudera不再滿足于Hadoop開源平臺(tái)的身份，轉(zhuǎn)而以企業(yè)數(shù)據(jù)公司的身份進(jìn)行營(yíng)銷。如今，Cloudera已經(jīng)進(jìn)入企業(yè)數(shù)據(jù)云市場(chǎng)：混合云/多云服務(wù)，統(tǒng)一的安全體系和管理，多功能分析——都得益于Hadoop的開源服務(wù)。
話雖如此，在“Hadoop已死”這一負(fù)面論調(diào)的汪洋大海中航行，還是困難重重。
Hadoop是什么?
首先，從最基本的層面來講——Hadoop最初是Apache 軟件基金會(huì)的一個(gè)開源項(xiàng)目。后來，Map/Reduce 和 HDFS也分別被納入這一項(xiàng)目中，很快就形成了一個(gè)廣泛而豐富的開源生態(tài)系統(tǒng)。如今，Cloudera的“Hadoop發(fā)行版”(CDH/HDP/CDP)包含30多個(gè)開源項(xiàng)目，涵蓋存儲(chǔ)、計(jì)算平臺(tái)(例如YARN，以及未來的Kubernetes)、批處理/實(shí)時(shí)計(jì)算框架(Spark、Flink等)、編排、SQL、NoSQL、ML、安全/管理等等。
所以，如果把Hadoop僅僅定義為MapReduce，那么，MapReduce的確正在衰落。但這并不妨礙Spark、Flink以及其他技術(shù)的興起——這使客戶感到高興。這就是平臺(tái)的美妙和強(qiáng)大之處——它可以進(jìn)化，可以擁抱新的范式。
那么，如果Hadoop不是一個(gè)“項(xiàng)目”或“一組項(xiàng)目”，它又是什么呢?
“Hadoop”是一種哲學(xué)——是一場(chǎng)運(yùn)動(dòng)，是管理和分析數(shù)據(jù)的現(xiàn)代化體系結(jié)構(gòu)的發(fā)展。
“Hadoop 哲學(xué)”
“Hadoop 哲學(xué)”始終遵循以下原則：
1. 轉(zhuǎn)向分解軟件堆棧，將每一層(存儲(chǔ)、計(jì)算平臺(tái)、批處理/實(shí)時(shí)/SQL計(jì)算框架等)構(gòu)建為可組合的樂高積木，而不是單一且不靈活的軟件棧(例如以垂直方式整合的具有定制存儲(chǔ)格式、解析器、執(zhí)行引擎等的數(shù)據(jù)庫。
- 尤其是，通過建立開放的元數(shù)據(jù)、安全和管理平臺(tái)來協(xié)調(diào)分解的堆棧，有助于實(shí)現(xiàn)這一點(diǎn)。
2. 轉(zhuǎn)向用于大型分布式系統(tǒng)的商品硬件，而不再是專有/單片硬件+軟件堆棧。
- 在經(jīng)濟(jì)學(xué)理論中，商品被定義為一種物品或服務(wù)，具有充分的可替代性和廣泛的可獲得性，這通常會(huì)導(dǎo)致較小的利潤(rùn)率，使價(jià)格以外的因素(如品牌)變得并不那么重要。
- 請(qǐng)參閱下面的討論，了解商品硬件在架構(gòu)上如何很好地轉(zhuǎn)化為公共云。
3. 轉(zhuǎn)向利用開放數(shù)據(jù)標(biāo)準(zhǔn)和開源技術(shù)，而不是專有的、供應(yīng)商控制的技術(shù)。這不僅僅是開放標(biāo)準(zhǔn)——標(biāo)準(zhǔn)是實(shí)現(xiàn)，而不僅僅是“規(guī)范”。
4. 轉(zhuǎn)向靈活多變的技術(shù)生態(tài)系統(tǒng)(MRv1 -> YARN -> K8s, MapReduce -> Spark/Flink等)，而不是對(duì)所有的整體堆棧一刀切，從而在每一層都能實(shí)現(xiàn)創(chuàng)新。
從某種層面來說，“Hadoop哲學(xué)”對(duì)于數(shù)據(jù)架構(gòu)來說，就像著名的Unix 哲學(xué)對(duì)于軟件開發(fā)一樣，Eric Raymond在其著作《Unix編程藝術(shù)》中闡述了17條Unix規(guī)則，同樣適用于該領(lǐng)域：
1. 模塊原則：使用簡(jiǎn)潔的接口拼合簡(jiǎn)單的部件。
• HDFS, YARN/K8s, Spark, Hive等既可以相互組合，又相互依賴。
3. 組合原則：設(shè)計(jì)時(shí)考慮拼接組合。
• Impala，Hive， Spark等可用于端到端的解決方案。
4. 分離原則：策略同機(jī)制分離，接口同引擎分離。
• HDFS既是文件系統(tǒng)接口，也是文件系統(tǒng)實(shí)現(xiàn)。這就是Spark通過Hadoop兼容文件系統(tǒng)“API”與S3對(duì)話的原因。
6. 吝嗇原則：除非確無它法，不要編寫龐大的程序。
• 避免出現(xiàn)“大”而“胖”的層，而是使用依賴于其他層的模塊化層，例如Phoenix和HBase。
7. 透明性原則：設(shè)計(jì)要可見，以便審查和調(diào)試。
• 開源FTW!
16. 多樣原則：決不相信所謂“不二法門”的斷言。
• Hadoop生態(tài)系統(tǒng)提供了多種工具，因?yàn)樗鼈冞m用于不同的場(chǎng)景，并且具有不同的優(yōu)勢(shì)(可以通過Spark或Hive實(shí)現(xiàn)ETL，通過Hive/Tez或Impala實(shí)現(xiàn)SQL，通過LLAP或SparkSQL實(shí)現(xiàn)SQL)。
17. 擴(kuò)展原則：設(shè)計(jì)著眼未來，未來總比預(yù)想來得快。
• 在2005-2006年時(shí)，很難預(yù)測(cè)到HBase, Hive, Impala, Spark, Flink, Kafka等產(chǎn)品的出現(xiàn)，但在過去13年多的時(shí)間里，它們成為了高質(zhì)產(chǎn)品和堆棧的關(guān)鍵組件，這已經(jīng)是很好的成果了。
云是什么呢?
如今，公共云(以及私有云)顯然將成為企業(yè)部署體系結(jié)構(gòu)中不可或缺的一部分。
公共云本質(zhì)上就是企業(yè)硬件基礎(chǔ)設(shè)施(服務(wù)器、網(wǎng)絡(luò)、數(shù)據(jù)中心等)的商品化。因此，它完全符合Hadoop哲學(xué)的原則——專注于商品硬件。此外，整個(gè)Hadoop生態(tài)系統(tǒng)一直都是為了“變形”和吸收新影響而構(gòu)建的——Tom White在2006年編寫了第一個(gè)S3-Hadoop連接器，Amazon在2009年引入了EMR服務(wù)。
與此相比，傳統(tǒng)數(shù)據(jù)庫供應(yīng)商很難分解單個(gè)的、高度工程化、融合一體化的硬件/軟件堆棧，并使它們?cè)诠苍浦羞M(jìn)行“本地化”工作。
不幸的是，就整個(gè)行業(yè)來說，沒能很好的幫助市場(chǎng)(尤其是金融市場(chǎng))理解Hadoop與傳統(tǒng)技術(shù)在公共云方面的區(qū)別。這值得思考，且亟待改善。
亞馬遜的 EMR、Azure的HDInsight，以及谷歌的Dataproc都是很好的例子，能夠很好地說明“Hadoop”是如何在客戶群的公共云中大規(guī)模推動(dòng)巨頭價(jià)值和業(yè)務(wù)的。
Cloudera是什么?
Cloudera是一家數(shù)據(jù)公司。這家公司能夠?qū)?shù)據(jù)轉(zhuǎn)化為清晰且可操作的觀點(diǎn)，這主要是通過“Hadoop哲學(xué)”來實(shí)現(xiàn)的。我們建立了這個(gè)市場(chǎng)——為自己的過去感到驕傲，但并沒有被蒙蔽。我們借力于技術(shù)浪潮(公共云、Kubernetes等)，這不僅有益于客戶，也符合公司的使命。
即使再過一百年，企業(yè)依然會(huì)希望將數(shù)據(jù)轉(zhuǎn)化為觀點(diǎn)。這是我們正在做的，并將持續(xù)做下去。
有些事情確實(shí)發(fā)生了改變——這需要引起注意。五年前，當(dāng)我們還是IT技術(shù)時(shí)，就獲得了通行證。所有的酷小孩都想和我們一起玩，把他們能找到的所有用例分享過來，還向他們的朋友們炫耀我們。在某種程度上，當(dāng)時(shí)的主流情緒是“已經(jīng)知道答案是Hadoop——那么問題是什么?”。這導(dǎo)致在產(chǎn)品生命周期的早期出現(xiàn)了一些不合理的、不切實(shí)際的期望。現(xiàn)在我們需要努力去說服客戶，才能讓其使用我們的產(chǎn)品，但是帶給他們的價(jià)值和理念是毋庸置疑的。我們還需要說服客戶使用如CDP之類的技術(shù)。但他們今天確實(shí)在與我們合作，正如他們?cè)诩w平臺(tái)上運(yùn)行的數(shù)千BP的數(shù)據(jù)和數(shù)百萬分析程序所證明的那樣!
本質(zhì)上，通過參與用戶和企業(yè)存儲(chǔ)/管理/保護(hù)/控制/分析數(shù)據(jù)的用例，我們將繼續(xù)蓬勃發(fā)展。隨著“Hadoop已死”的說法重現(xiàn)又消退，我們會(huì)被誤解，也愿意被誤解一段時(shí)間——因?yàn)槲覀冎匾暯Y(jié)果。所有偉大的公司都會(huì)時(shí)不時(shí)的被誤解，堅(jiān)持到最后就是勝利者。
Gartner分析師Merv Adrian喜歡講述這樣一個(gè)故事，一個(gè)客戶說他最喜歡的“Hadoop應(yīng)用程序”就是在S3中使用了帶有Spark的Tensorflow。Merv問他為什么選擇Hadoop，他回答是因?yàn)镠adoop團(tuán)隊(duì)創(chuàng)建了它。而且，使用的Spark來自Hadoop發(fā)行版。因此，Merv指出：“通常，旁人才能看出Hadoop的價(jià)值所在。”
CDP的基本目標(biāo)是確保使用云服務(wù)能讓企業(yè)更容易從平臺(tái)獲得價(jià)值，而無需處理技術(shù)的復(fù)雜性。尤其是，使用CDP提供的用于數(shù)據(jù)倉庫和機(jī)器學(xué)習(xí)的本地SaaS式服務(wù)經(jīng)驗(yàn)，使得業(yè)務(wù)用戶能夠輕松分析存儲(chǔ)在云空間中的數(shù)據(jù)。此外，SDX使得使用ABAC和細(xì)粒度策略跨存儲(chǔ)在對(duì)象存儲(chǔ)和on-prem HDFS中的數(shù)據(jù)建立完全安全的數(shù)據(jù)湖變得非常簡(jiǎn)單，還提供了用于治理和加密(存儲(chǔ)和在線)的來源和沿襲。在這方面取得的進(jìn)展令人興奮——正如從許多企業(yè)客戶反饋中看到的那樣!
那么，Hadoop已經(jīng)死去了嗎?
對(duì)Hadoop舊的認(rèn)知已經(jīng)過時(shí)了——塵埃落定。Hadoop作為一種理念，正在推動(dòng)著開源技術(shù)生態(tài)系統(tǒng)和開放數(shù)據(jù)標(biāo)準(zhǔn)不斷發(fā)展，使人們能夠?qū)?shù)據(jù)轉(zhuǎn)化為觀點(diǎn)，這種理念是鮮活而持久的。
只要有數(shù)據(jù)，就會(huì)有Hadoop。
Hadoop的舊理念已死。Hadoop的新理念長(zhǎng)青。
