通過(guò)部署和使用大數(shù)據(jù)分析工具，分析流程可以幫助公司提高運(yùn)營(yíng)效率，產(chǎn)生新的利潤(rùn)，獲得競(jìng)爭(zhēng)優(yōu)勢(shì)。企業(yè)可選擇的數(shù)據(jù)分析應(yīng)用程序有很多。比如描述性分析善于描述已發(fā)生的事情，揭示因果關(guān)系。描述性分析主要輸出查詢、報(bào)表和歷史數(shù)據(jù)可視化。

另外，更復(fù)雜的預(yù)測(cè)模型和規(guī)范模型可以幫助企業(yè)獲得商機(jī)，做出影響市場(chǎng)戰(zhàn)略，提升客戶體驗(yàn)，避免設(shè)備故障的決定。在預(yù)測(cè)分析中，歷史數(shù)據(jù)集有了預(yù)測(cè) 分析，歷史數(shù)據(jù)集可用于分析未來(lái)的狀況和行為，規(guī)范分析承接預(yù)測(cè)分析，建議決策者采取某種行為。在很多情況下，先進(jìn)的分析程序由于處理和數(shù)據(jù)存儲(chǔ)的需求過(guò) 高，限制了它的發(fā)展，但這些缺點(diǎn)也不是不可克服的。大數(shù)據(jù)平臺(tái)和大數(shù)據(jù)分析工具的流行，讓預(yù)測(cè)分析和規(guī)范分析也能通過(guò)擴(kuò)展，處理來(lái)自廣泛數(shù)據(jù)源的大量數(shù)據(jù) 集。

大數(shù)據(jù)分析意味著什么？

本質(zhì)上，大數(shù)據(jù)分析工具是能夠支持運(yùn)行在大數(shù)據(jù)計(jì)算平臺(tái)上的預(yù)測(cè)分析應(yīng)用程序和規(guī)范分析應(yīng)用程序的軟件產(chǎn)品。一般我們所說(shuō)的都是基于商業(yè)服務(wù)器集 群，可擴(kuò)展的分布式存儲(chǔ)和技術(shù)的并行處理系統(tǒng)，比如Hadoop和NoSQL數(shù)據(jù)庫(kù)。這些工具可以幫助用戶快速分析大規(guī)模數(shù)據(jù)，有時(shí)能做到實(shí)時(shí)分析。

另外，大數(shù)據(jù)分析工具提供了使用數(shù)據(jù)挖掘技術(shù)分析數(shù)據(jù)、發(fā)現(xiàn)類型、使用分析模型的框架，來(lái)認(rèn)識(shí)和應(yīng)對(duì)特定的數(shù)據(jù)類型，提高業(yè)務(wù)流程。例如，大量的運(yùn) 輸數(shù)據(jù)，交通數(shù)據(jù)流，天氣數(shù)據(jù)和供應(yīng)商歷史數(shù)據(jù)都可以用不同的數(shù)據(jù)模型來(lái)進(jìn)行分析，用于優(yōu)化特定地域內(nèi)的運(yùn)輸線路，降低送貨延誤或損壞貨物的風(fēng)險(xiǎn)。

大數(shù)據(jù)分析工具可以消化廣泛的數(shù)據(jù)種類，包括結(jié)構(gòu)化數(shù)據(jù)，比如關(guān)系型數(shù)據(jù)庫(kù)中存儲(chǔ)的交易數(shù)據(jù)，半結(jié)構(gòu)化數(shù)據(jù)，比如Web服務(wù)器或移動(dòng)應(yīng)用程序文件，和非結(jié)構(gòu)化數(shù)據(jù)，比如文本文件、文檔、電子郵件、文本信息和社交媒體信息等。

大數(shù)據(jù)和高級(jí)分析工具

下面來(lái)介紹一下大數(shù)據(jù)分析的廠商，很多廠商提供支持分析流程的大數(shù)據(jù)平臺(tái)和工具，比如數(shù)據(jù)集成、數(shù)據(jù)準(zhǔn)備和其他類型的數(shù)據(jù)管理軟件。我們關(guān)注能夠滿足下列要求的工具：

1）能應(yīng)用高級(jí)的分析算法和模型提供分析

2）以大數(shù)據(jù)平臺(tái)為引擎，比如Hadoop或其他高性能分析系統(tǒng)

3）能夠適用于多種數(shù)據(jù)源的結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)

4）隨著用于分析模型的數(shù)據(jù)的增加，能夠?qū)崿F(xiàn)擴(kuò)展

5）分析模型可以，或者已經(jīng)集成到數(shù)據(jù)可視化工具

6）能夠和其他技術(shù)集成

另外，工具必須包含必備的一些功能，包括集成算法和支持?jǐn)?shù)據(jù)挖掘技術(shù)，包括（但不限于）：

1）集群和細(xì)分：把一個(gè)大的實(shí)體分割擁有共同特征的小團(tuán)體。比如分析收集來(lái)的客戶，確定更細(xì)分的目標(biāo)市場(chǎng)。

2）分類：把數(shù)據(jù)組織進(jìn)預(yù)定類別。比如根據(jù)細(xì)分模型決定客戶改如何進(jìn)行分類。

3）恢復(fù)：用于恢復(fù)從屬變量和一個(gè)及一個(gè)以上獨(dú)立變量之間的關(guān)系，幫助決定從屬變量如何根據(jù)獨(dú)立變量的變化而變化。比如使用地理數(shù)據(jù)、凈收入、夏日平均溫度和占地面積預(yù)測(cè)財(cái)產(chǎn)的未來(lái)走向。

4）聯(lián)合和項(xiàng)目集挖掘：在大數(shù)據(jù)集中尋找變量之間的相關(guān)關(guān)系。比如它可以幫助呼叫中心代表提供基于呼叫者客戶細(xì)分、關(guān)系和投訴類型的更精準(zhǔn)的信息。

5）相似性和聯(lián)系：用于非直接的集群算法。相似性積分算法可用于決定備用集群中實(shí)體的相似性。

6）神經(jīng)網(wǎng)絡(luò)：用于機(jī)器學(xué)習(xí)的非直接分析。

這只是預(yù)測(cè)分析和規(guī)范分析的子集。另外，不同的供應(yīng)商很可能提供不同的算法支持不同的方式。

高級(jí)分析市場(chǎng)

高級(jí)分析工具市場(chǎng)隨著時(shí)間發(fā)展不斷進(jìn)步，不同成熟度的工具類型都可選擇。有些來(lái)自歷史悠久的傳統(tǒng)廠商，比如IBM、Oracle和SAS。也有廠商通過(guò)收購(gòu)有一定歷史的工具，增強(qiáng)實(shí)力，比如微軟、戴爾、Teradata 和SAP。

一些小公司也提供大數(shù)據(jù)分析產(chǎn)品，包括Angoss, Predixion, Alteryx, Alpine Data Labs, Pentaho, KNIME 和 RapidMiner，有時(shí)公司會(huì)開(kāi)發(fā)自己的算法。其他采用了開(kāi)源算法R語(yǔ)言，提供預(yù)測(cè)模型和規(guī)范模型能力，或使用開(kāi)源Weka項(xiàng)目軟件。

第三類產(chǎn)品就是開(kāi)源技術(shù)。之前提到的R語(yǔ)言就是一個(gè)例子，還有Hadoop下的Mahout軟件，以及Weka。

在一些情況下，尤其是大廠商，大數(shù)據(jù)工具往往被打包到大數(shù)據(jù)套裝中。其他情況下，大數(shù)據(jù)工具會(huì)單獨(dú)出售。在后者，客戶需要自己將工具和已有的大數(shù)據(jù) 平臺(tái)集成起來(lái)。大多數(shù)的工具都提供虛擬化界面指導(dǎo)分析流程，比如數(shù)據(jù)挖掘與發(fā)現(xiàn)分析，模型的判斷和積分，與運(yùn)營(yíng)環(huán)境集成。在大多數(shù)情況下，供應(yīng)商都提供幫 助客戶搭建和運(yùn)行軟件的指導(dǎo)和服務(wù)。

誰(shuí)在使用大數(shù)據(jù)和高級(jí)分析工具？

企業(yè)里的一些人著眼于探索設(shè)計(jì)新型預(yù)測(cè)性模型，另一些人關(guān)注將這些模型嵌入他們的商業(yè)流程中，還有一些人想要理解這些工具會(huì)給他們的業(yè)務(wù)帶來(lái)什么整體變化。

數(shù)據(jù)科學(xué)家們，他們想使用更復(fù)雜的數(shù)據(jù)類型實(shí)現(xiàn)更復(fù)雜的分析，熟知如何設(shè)計(jì)，如何應(yīng)用基礎(chǔ)模型來(lái)評(píng)估內(nèi)在傾向性或偏差。

業(yè)務(wù)分析師，他們更像是隨性的用戶，想要用數(shù)據(jù)來(lái)實(shí)現(xiàn)主動(dòng)數(shù)據(jù)發(fā)現(xiàn)，或者實(shí)現(xiàn)現(xiàn)有信息和部分預(yù)測(cè)分析的可視化。

企業(yè)經(jīng)理，他們想要了解模型和結(jié)論。

IT開(kāi)發(fā)人員，他們?yōu)橐陨纤蓄愑脩籼峁┲С帧?/strong>