Hadoop是一個開源軟件框架，它在近十年前開始流行。ApacheHadoop在當時是一項突破性的創(chuàng)新，企業(yè)在處理大量數(shù)據(jù)時遇到了存儲問題。它通過提供Hadoop分布式文件系統(tǒng)(HDFS)進行存儲和MapReduce進行數(shù)據(jù)分析和處理，重新定義了企業(yè)處理、分析和存儲數(shù)據(jù)的方式。據(jù)公關(guān)通訊社報道，到2012年，財富50強中超過一半的公司采用了Hadoop。

Cloudera在2008年成為第一家致力于Hadoop的公司，MapR和Hortonworks緊隨其后。Hadoop技術(shù)成為財富500強公司的最愛，然而他們卻宣布放棄這項技術(shù)。在經(jīng)歷了這樣一段開拓性的旅程并受到如此多的崇拜之后，為什么Hadoop今天會經(jīng)歷相當大的衰退呢?

導致崩潰的變化

云的出現(xiàn)在Hadoop采用率的下降中扮演著關(guān)鍵的角色。2018年，Twitter宣布遷移至谷歌云，以提高生產(chǎn)力并滿足其不斷增長的需求。此外，他們還表示，他們的Hadoop文件系統(tǒng)存儲了超過300PB的數(shù)據(jù)，他們正在將Hadoop計算系統(tǒng)轉(zhuǎn)移到Google云上。

自從云服務普及以來，這不是一個孤立的案例，許多公司決定轉(zhuǎn)向云，以獲得更好的大數(shù)據(jù)解決方案和高級數(shù)據(jù)分析。下一個路徑，一家自動化云遷移公司最近宣布了Crawler360的增強功能和移位™，他們的兩種遷移技術(shù)，可以輕松快速地從Hadoop遷移到所需的云平臺。

NextPathway的首席戰(zhàn)略官Vinay Mathur在接受采訪時說：“我們承諾會比最終得到的更多。隨著數(shù)據(jù)量和分析要求的復雜性增加，它根本就不起作用了。”根據(jù)下一份平臺報告，他們與財富500強中的高端公司的對話使他們意識到，他們正在對Hadoop失去興趣。

與經(jīng)常因維護費用而受到指責的本地Hadoop技術(shù)相比，云技術(shù)承諾了可擴展和高效的大數(shù)據(jù)處理。它也不能很好地處理迭代數(shù)據(jù)，對于大量的小數(shù)據(jù)集，它通常被標記為低效的解決方案。對實時數(shù)據(jù)分析的不斷增長的需求也導致了人們對Hadoop興趣的下降。

很多時候，運營商將大量非結(jié)構(gòu)化數(shù)據(jù)轉(zhuǎn)儲到分布式文件系統(tǒng)中，這會增加交付解決方案的復雜性。云計算減少了混亂，同時它還提供了一個可擴展的經(jīng)濟高效的平臺。

Hadoop死了嗎?

沒有人應該那么悲觀。像Hadoop這樣的技術(shù)可能會發(fā)展，但不會完全消失。AlliedMarketResearch公司的報告顯示，到2027年，全球Hadoop市場預計將達到3403.5億美元，而2019年為267.4億美元，2020-2027年復合年增長率為37.5%。這不矛盾嗎?Hadoop可能正在經(jīng)歷一場中年危機，最終可能導致技術(shù)更加成熟。

盡管Hadoop的采用率可能會下降，但它不會消失，因為如果不用于分析，它仍然可以用于豐富的數(shù)據(jù)存儲。未來幾年，企業(yè)可能會利用基于云的基礎(chǔ)設(shè)施和內(nèi)部基礎(chǔ)設(shè)施，使用混合方法進行數(shù)據(jù)存儲和分析。在這里，它將有一個相當大的范圍，因為它是一個公認的技術(shù)，具有成本效益和可擴展的數(shù)據(jù)存儲系統(tǒng)。