開源數(shù)據(jù)集如今深受開發(fā)者喜愛，比如谷歌的Images dataset數(shù)據(jù)集，YouTube-8M數(shù)據(jù)集等。通過對(duì)數(shù)據(jù)集里的數(shù)據(jù)進(jìn)行分析，可以發(fā)現(xiàn)許多隱藏信息，比如客戶喜好、未知相關(guān)性，市場(chǎng)趨勢(shì)以及其他有用的商業(yè)信息。大數(shù)據(jù)分析對(duì)企業(yè)降低成本，準(zhǔn)確掌握市場(chǎng)趨勢(shì)，更快完成產(chǎn)品迭代十分有用。說到大數(shù)據(jù)分析，16年基本被Spark與Hadoop霸屏，到底是什么樣的魔力讓它們足以引起大數(shù)據(jù)世界的波動(dòng)，未來又會(huì)如何發(fā)展呢?

Apache Spark

Apache Spark起源于加州大學(xué)伯克利分校，對(duì)于復(fù)雜分析來說是一個(gè)十分不錯(cuò)的開源處理引擎。Spark提供了一個(gè)全面、統(tǒng)一的框架用于管理各種有著不同性質(zhì)(文本數(shù)據(jù)、圖表數(shù)據(jù)等)的數(shù)據(jù)集和數(shù)據(jù)源(批量數(shù)據(jù)或?qū)崟r(shí)的流數(shù)據(jù))的大數(shù)據(jù)處理的需求。每一個(gè)Spark應(yīng)用程序，都由一個(gè)驅(qū)動(dòng)程序組成，運(yùn)行用戶的main函數(shù)，并且在一個(gè)集群上執(zhí)行各種并行操作。

Spark提供的主要的抽象概念是具備容錯(cuò)能力的彈性分布式數(shù)據(jù)集，一個(gè)覆蓋整個(gè)集群的只讀多重?cái)?shù)據(jù)項(xiàng)集。彈性分布式數(shù)據(jù)集(RDD)幫助實(shí)現(xiàn)交互式算法，通過多次訪問數(shù)據(jù)集，實(shí)現(xiàn)交互式數(shù)據(jù)分析，應(yīng)用延遲可以有不同程度上的減少，機(jī)器學(xué)習(xí)系統(tǒng)訓(xùn)練算法的交互性是使用Apache Spark的初始動(dòng)力。以下是對(duì)Apache Spark的分析，看看是哪些特性使Apache Spark如此火熱吧。

1、快速處理

大數(shù)據(jù)的處理速度至關(guān)重要，Apache Spark通過減少磁盤讀寫次數(shù)，降低磁盤I/O，使Hadoop集群上的應(yīng)用程序操作比內(nèi)存中快一百倍，比磁盤快十倍。

2、易用，支持多種語言

Spark允許使用Java，Sacla甚至Python進(jìn)行快速編寫。開發(fā)人員不僅可以使用熟悉的編程語言也可以運(yùn)行這些應(yīng)用程序。Spark本身自帶了一個(gè)超過80個(gè)高階操作符集合。而且還可以用它在shell中以交互式地查詢數(shù)據(jù)。

3、支持復(fù)雜分析

除了Map和Reduce操作之外，Spark還支持SQL查詢，流數(shù)據(jù)，機(jī)器學(xué)習(xí)和圖表數(shù)據(jù)處理，此外，用戶可以把所有這些功能都放在一個(gè)工作流中使用也可以單獨(dú)使用。

4、實(shí)時(shí)流式處理

Apache Spark支持實(shí)時(shí)流式處理，它可以在進(jìn)行數(shù)據(jù)操作的同時(shí)使用Spark Streaming。

5、與現(xiàn)有Hadoop及其上的數(shù)據(jù)整合

Spark可以在Hadoop Yarn集群管理器上獨(dú)立操作，包括讀取Hadoop上的數(shù)據(jù)。該特性使Spark十分適用于現(xiàn)有純Hadoop應(yīng)用程序的遷移。

6、基于Hadoop的多核服務(wù)器

大部分企業(yè)逐漸從昂貴的大型機(jī)和數(shù)據(jù)倉庫平臺(tái)向基于Hadoop的多核服務(wù)器轉(zhuǎn)型。Hadoop是一個(gè)由java語言編寫而成的開源分布式系統(tǒng)基礎(chǔ)架構(gòu)，其支持分布式環(huán)境中的大型數(shù)據(jù)集的存儲(chǔ)和處理操作。很多公司都將Hadoop作為其大數(shù)據(jù)平臺(tái)進(jìn)行使用。

Hadoop

Hadoop是由Apache基金會(huì)所開發(fā)的分布式系統(tǒng)基礎(chǔ)架構(gòu)。用戶可以在不了解分布式底層細(xì)節(jié)的情況下，開發(fā)分布式程序。充分利用集群的威力進(jìn)行高速運(yùn)算和存儲(chǔ)。

[[174355]]

1、低成本的數(shù)據(jù)存儲(chǔ)

與一體機(jī)、商用數(shù)據(jù)倉庫以及QlikView、Yonghong Z-Suite等數(shù)據(jù)集市相比，Hadoop是開源的，項(xiàng)目的軟件成本因此會(huì)大大降低。

2、高效

Hadoop可以運(yùn)行分析算法,因?yàn)樗辉O(shè)計(jì)用來處理各種形式的大數(shù)據(jù)。在Hadoop上進(jìn)行數(shù)據(jù)分析可以使分析更高效，Hadoop能夠在節(jié)點(diǎn)之間動(dòng)態(tài)地移動(dòng)數(shù)據(jù)，并保證各個(gè)節(jié)點(diǎn)的動(dòng)態(tài)平衡，因此處理速度非常快。

3、批量數(shù)據(jù)處理

Hadoop框架最核心的設(shè)計(jì)就是：HDFS和MapReduce。HDFS為海量的數(shù)據(jù)提供了存儲(chǔ)，則MapReduce為海量的數(shù)據(jù)提供了計(jì)算。HDFS是Hadoop的一大創(chuàng)舉，分布式存儲(chǔ)使文件存放在眾多節(jié)點(diǎn)上，只需要一個(gè)節(jié)點(diǎn)去記錄文件的元數(shù)據(jù)信息(主要是文件的位置)，訪問文件時(shí)先訪問元數(shù)據(jù)節(jié)點(diǎn)，獲取文件所在的位置， 然后在獲取文件即可。此外，MapReduce也可以做大數(shù)據(jù)處理，即以價(jià)值為導(dǎo)向，對(duì)大數(shù)據(jù)加工、挖掘和優(yōu)化等各種處理。其思想就是“分而治之”，將大任務(wù)分成若干小任務(wù)處理。

4、與數(shù)據(jù)倉庫相輔相成

有很多數(shù)據(jù)集被從數(shù)據(jù)倉庫卸到Hadoop平臺(tái)上，或者一些新的數(shù)據(jù)會(huì)直接到Hadoop中。企業(yè)無非就是希望有一個(gè)好的平臺(tái)來存儲(chǔ)、處理、分析數(shù)據(jù)，以支持可以被集成在不同級(jí)別的不同用例。

5、物聯(lián)網(wǎng)和Hadoop

據(jù)預(yù)測(cè),未來20年物聯(lián)網(wǎng)對(duì)全球GDP的貢獻(xiàn)將會(huì)增長10到15萬億美元左右。物聯(lián)網(wǎng)的核心是流和大數(shù)據(jù)。Hadoop被用來進(jìn)行多事務(wù)數(shù)據(jù)存儲(chǔ)，數(shù)據(jù)，統(tǒng)計(jì)算法和機(jī)器學(xué)習(xí)指出基于歷史數(shù)據(jù)分析得到未來趨勢(shì)的可能性。對(duì)過去進(jìn)行分析是了解未來很好的一個(gè)途徑，通過預(yù)測(cè)分析，未來的物聯(lián)網(wǎng)世界將更加純粹。

未來怎么走?

技術(shù)的變革、更新?lián)Q代，本身是好事，但很多時(shí)候，人才的培養(yǎng)跟不上技術(shù)變革的腳步。即便是最先進(jìn)的學(xué)府可能都還未來得及更換教科書，這時(shí)對(duì)企業(yè)來說，新技術(shù)帶來的超高性價(jià)比就顯得毫無意義了，因?yàn)橄鄳?yīng)的人力成本在上升。

有些人很喜歡及時(shí)更新知識(shí)儲(chǔ)備，認(rèn)為新技術(shù)的出現(xiàn)會(huì)取代舊技術(shù)。但各有各的好，新歡不一定敵得過舊愛，要看需求，別跟風(fēng)。不過，越是Spark、Hadoop炒得火熱，理性思考的人就越少，很多人只是浮于表面，這對(duì)技術(shù)的發(fā)展十分不利。