[[421812]]

【51CTO.com快譯】什么是大數(shù)據(jù)?如何使用大數(shù)據(jù)分析來預(yù)測未來發(fā)生的事件?它會顛覆軟件市場嗎?人們需要了解預(yù)測分析和大數(shù)據(jù)的完整指南。

企業(yè)是否希望加強(qiáng)和擴(kuò)展自己的業(yè)務(wù)?還是開發(fā)產(chǎn)品?如果制定了一個(gè)從哪里開始的計(jì)劃那很好。如果沒有，應(yīng)該做一些分析。大數(shù)據(jù)分析有助于企業(yè)獲取潛在用戶數(shù)據(jù)、處理數(shù)據(jù)、清理數(shù)據(jù)并獲得有價(jià)值的輸出。而且，預(yù)測分析可以根據(jù)企業(yè)過去、現(xiàn)在和未來的業(yè)務(wù)事件做出預(yù)測。

大數(shù)據(jù)分析在當(dāng)今市場上的地位如何?

大數(shù)據(jù)是指原始和大量的信息集，這些信息在研究和分析中變得非常有價(jià)值。采用的新技術(shù)越多，這些技術(shù)積累的數(shù)據(jù)量就越大。因此，通過分析來利用這些大量信息是非常重要的。而且這種類型的分析需要特定的工具和自動化，因?yàn)槿祟悷o法通過人工處理大數(shù)據(jù)，因?yàn)檫@是不可能完成的任務(wù)。而使大數(shù)據(jù)分析的過程實(shí)現(xiàn)自動化稱之為大數(shù)據(jù)分析。

大數(shù)據(jù)分析是一個(gè)龐大復(fù)雜的過程，它從不同的角度分析大量數(shù)據(jù)，以確保存在模式和相關(guān)性、市場趨勢和客戶偏好，并在分析人員的幫助下做出正確的業(yè)務(wù)決策。因此，大數(shù)據(jù)分析是任何行業(yè)組織的首要任務(wù)之一。

大數(shù)據(jù)分析的好處是什么?

根據(jù)研究機(jī)構(gòu)Allied Market Research公司發(fā)布的一份調(diào)查報(bào)告，到2027年，全球大數(shù)據(jù)和商業(yè)分析市場規(guī)模預(yù)計(jì)將達(dá)到4209.8億美元，從2020年到2027年的復(fù)合年增長率為10.9%。這也不足為奇，因?yàn)槠髽I(yè)可以從使用大數(shù)據(jù)分析軟件和工具以及制定數(shù)據(jù)驅(qū)動的決策以改善業(yè)務(wù)成果。最常見的改進(jìn)可能包括有效營銷、新收入、客戶個(gè)性化，以及提高運(yùn)營效率，從而使企業(yè)在市場競爭中名列前茅。

在大數(shù)據(jù)分析的潛在好處中，可以發(fā)現(xiàn)：

• 對以不同來源、格式和類型存在的大量數(shù)據(jù)進(jìn)行快速分析。
• 能夠快速做出更好的決策以更有效地制定戰(zhàn)略，改進(jìn)戰(zhàn)略決策，例如供應(yīng)鏈和運(yùn)營。
• 在有效優(yōu)化業(yè)務(wù)流程的幫助下，可以節(jié)省成本。
• 更深入地了解客戶需求、行為和情緒，這會對營銷洞察產(chǎn)生積極影響，并為產(chǎn)品的進(jìn)一步開發(fā)提供廣泛的信息。
• 更有效地實(shí)施從大量數(shù)據(jù)樣本中提取的風(fēng)險(xiǎn)管理策略。

Analytics Insight公司在其發(fā)布的一份調(diào)查報(bào)告指出了2021年值得關(guān)注的十種大數(shù)據(jù)分析技術(shù)，其中包括：

• Apache Hadoop：這是一個(gè)軟件庫，它使用簡單的編程模型在計(jì)算機(jī)集群對大型數(shù)據(jù)集進(jìn)行分布式處理。
• MongoDB：這是一個(gè)基于文檔的分布式數(shù)據(jù)庫，主要目的是幫助現(xiàn)代應(yīng)用程序開發(fā)人員開發(fā)和使用云計(jì)算技術(shù)。
• R：為統(tǒng)計(jì)計(jì)算和圖形創(chuàng)建的免費(fèi)軟件環(huán)境。
• Tableau：這是一個(gè)可視化分析平臺，有助于查看和理解可以解決潛在問題的數(shù)據(jù)。
• Cassandra：這個(gè)一種開源NoSQL數(shù)據(jù)庫，能夠以極快的速度和更高的性能管理大量數(shù)據(jù)。
• Qlik：這是一種端到端的多云數(shù)據(jù)集成分析解決方案，可將原始數(shù)據(jù)轉(zhuǎn)化為有價(jià)值的洞察力，從而彌合所有信息差距。
• Splunk：這是一個(gè)數(shù)據(jù)分析平臺，具有額外的安全性、可觀察性、IT運(yùn)營以及包括數(shù)據(jù)處理在內(nèi)的一切。
• ElasticSearch：這是一個(gè)分布式分析引擎，具有RESTful搜索功能，可以解決日益增長的用例。
• Knime：這是一個(gè)創(chuàng)建和生產(chǎn)數(shù)據(jù)科學(xué)的軟件，具有簡單直觀的環(huán)境，使大數(shù)據(jù)利益相關(guān)者能夠?qū)Ｗ⒂谄浜诵妮斎搿?/li>
• RapidMiner：這是一個(gè)端到端的透明數(shù)據(jù)科學(xué)平臺，為構(gòu)建機(jī)器學(xué)習(xí)模型進(jìn)行了集成和優(yōu)化，可以使用可視化工作流設(shè)計(jì)器或自動建模設(shè)計(jì)這些模型，并部署機(jī)器學(xué)習(xí)模型，將它們轉(zhuǎn)化為有益的操作。

大數(shù)據(jù)分析如何工作?

大數(shù)據(jù)分析主要利用了4個(gè)關(guān)鍵流程。這些工作包括數(shù)據(jù)的收集、處理、清理和分析。以下了解這些關(guān)鍵流程。

(1)收集數(shù)據(jù)

移動記錄、客戶反饋表、從客戶那里收到的郵件、調(diào)查報(bào)告、社交媒體平臺和移動應(yīng)用程序是數(shù)據(jù)分析師可以收集特定信息的來源。不同的企業(yè)試圖利用數(shù)據(jù)收集和提取所有有價(jià)值的信息來獲得洞察力和進(jìn)步。而非結(jié)構(gòu)化或半結(jié)構(gòu)化數(shù)據(jù)通常非常混亂，如果不使用特定工具，則無法讀取這些信息。

(2)處理數(shù)據(jù)

在收集數(shù)據(jù)之后，下一步要使用它將數(shù)據(jù)存儲在數(shù)據(jù)池或數(shù)據(jù)倉庫中，將允許分析師組織、配置和分組大數(shù)據(jù)，以便為每個(gè)請求繪制清晰的圖表，這對于最終結(jié)果也將更加準(zhǔn)確。

(3)清理數(shù)據(jù)

為確保處理過的數(shù)據(jù)分析師的工作是完整和可行的，它必須清除重復(fù)數(shù)據(jù)、不真實(shí)輸入、系統(tǒng)錯(cuò)誤和其他類型的偏差。因此，這一步可以對大數(shù)據(jù)進(jìn)行清理，以便在之后獲得更準(zhǔn)確的結(jié)果。

(4)分析數(shù)據(jù)

這是最后一個(gè)步驟，可以分析收集、處理和清理的原始數(shù)據(jù)，并有可能提取急需的結(jié)果。在這里可以使用：

• 數(shù)據(jù)挖掘(幫助提取有用且可行的數(shù)據(jù)模式)。
• 人工智能(使用類人思維探索和提取深度數(shù)據(jù)分析)。
• 文本挖掘(在人工智能的幫助下，可以從非結(jié)構(gòu)化文本信息池中獲得有意義的信息洞察)。
• 機(jī)器學(xué)習(xí)(使用人工智能讓計(jì)算機(jī)根據(jù)過去的經(jīng)驗(yàn)進(jìn)行學(xué)習(xí))。
• 預(yù)測分析(基于過去和歷史數(shù)據(jù)分析對企業(yè)的重大預(yù)測和未來洞察)
• 深度學(xué)習(xí)(分析和提取大量非托管數(shù)據(jù))

盡管大數(shù)據(jù)分析有許多分析數(shù)據(jù)的可能性和方法，但人們需要關(guān)注預(yù)測分析及其在2021年的表現(xiàn)。

預(yù)測分析在當(dāng)今處于什么地位?

IBM公司表示，大數(shù)據(jù)預(yù)測分析屬于高級分析。它能夠借助歷史數(shù)據(jù)、統(tǒng)計(jì)建模、數(shù)據(jù)挖掘和機(jī)器學(xué)習(xí)來預(yù)測未來的結(jié)果。企業(yè)借助可預(yù)測的數(shù)據(jù)模式，使用預(yù)測分析來了解其風(fēng)險(xiǎn)和機(jī)遇。

預(yù)測分析也屬于大數(shù)據(jù)和數(shù)據(jù)科學(xué)。如今，很多企業(yè)使用事務(wù)數(shù)據(jù)庫數(shù)據(jù)、設(shè)備日志文件、圖像、視頻、傳感器和其他數(shù)據(jù)源來獲得洞察力。企業(yè)可以借助深度學(xué)習(xí)和機(jī)器學(xué)習(xí)算法從這些數(shù)據(jù)中提取信息。那么能從數(shù)據(jù)提取中得到什么?將會看到數(shù)據(jù)范圍內(nèi)的模式，并能夠預(yù)測未來的事件。例如，算法方法包括線性和非線性回歸、神經(jīng)網(wǎng)絡(luò)、支持向量機(jī)和決策樹。

預(yù)測分析在銀行、醫(yī)療保健、人力資源、營銷和銷售、零售和供應(yīng)鏈等行業(yè)中最有用。根據(jù)Statista公司發(fā)布的一份調(diào)查報(bào)告，隨著越來越多的企業(yè)將預(yù)測分析大數(shù)據(jù)技術(shù)用于各行業(yè)領(lǐng)域，預(yù)計(jì)到2022年，分析大數(shù)據(jù)市場有望實(shí)現(xiàn)110億美元的收入。

通常情況下，有三種類型的預(yù)測分析業(yè)務(wù)可以應(yīng)用于：

• 預(yù)測建模
• 描述性建模
• 決策建模

(1)預(yù)測建模

預(yù)測建模需要統(tǒng)計(jì)數(shù)據(jù)才能預(yù)測結(jié)果。預(yù)測建模的主要目標(biāo)是確保不同樣本中的相似單元具有相似的性能，反之亦然。例如，可以借助預(yù)測建模來預(yù)測客戶的行為和信用風(fēng)險(xiǎn)。

(2)描述性建模

描述性建模傾向于將客戶劃分為多個(gè)組來描述數(shù)據(jù)集中的某些關(guān)系。因此，將獲得客戶和產(chǎn)品之間不同關(guān)系的摘要，例如考慮年齡、地位、性別等產(chǎn)品偏好。

(3)決策建模

決策建模顯示了決策中元素之間的清晰關(guān)系。這些可能是數(shù)據(jù)、決策和預(yù)測結(jié)果。了解元素之間的關(guān)系可以潛在地預(yù)測未來結(jié)果，增加所需結(jié)果的可能性。

預(yù)測分析的好處是什么?

企業(yè)可以在預(yù)測分析的幫助下獲得8項(xiàng)主要好處。因此，應(yīng)用于預(yù)測分析可以：

• 讓企業(yè)在市場上更具競爭力
• 開辟新產(chǎn)品(服務(wù))機(jī)會
• 優(yōu)化產(chǎn)品(服務(wù))的性能
• 根據(jù)分析內(nèi)容獲得洞察力
• 根據(jù)客戶偏好獲取見解
• 減少成本浪費(fèi)和風(fēng)險(xiǎn)
• 立即解決問題
• 100%滿足用戶需求
• 改善協(xié)作

預(yù)測分析的其他潛在好處是檢測：

• 警告可能的欺詐行為
• 模式一致性，以便改進(jìn)
• 可以防止的非法行為
• 可以優(yōu)化的營銷活動缺陷
• 可以了解客戶購買偏好
• 規(guī)劃可以增強(qiáng)的勞動力優(yōu)勢
• 可以分析客戶流失率
• 可以分析競爭對手的進(jìn)展

預(yù)測分析如何工作?

為了利用預(yù)測分析，企業(yè)的業(yè)務(wù)都應(yīng)該由業(yè)務(wù)目標(biāo)驅(qū)動。例如，企業(yè)的目標(biāo)可能是降低成本、優(yōu)化時(shí)間和消除浪費(fèi)。其目標(biāo)可以在其中一個(gè)預(yù)測分析模型的幫助下得到支持，以處理大量數(shù)據(jù)并接收最初所需的結(jié)果。

基于上面的解釋，可以定義一些應(yīng)用于預(yù)測分析的基本步驟。例如，要預(yù)測銷售收入，必須：

步驟1：從多個(gè)來源獲取數(shù)據(jù)，尤其是具有產(chǎn)品銷售數(shù)據(jù)、營銷預(yù)算和國內(nèi)生產(chǎn)總值(GDP)的數(shù)據(jù)。

步驟2：從任何不必要的成分中清除數(shù)據(jù)，并根據(jù)相似的數(shù)據(jù)類型對其進(jìn)行累積或分組。

步驟3：創(chuàng)建預(yù)測模型。例如神經(jīng)網(wǎng)絡(luò)可用于收入預(yù)測。

步驟4：將模型開發(fā)到生產(chǎn)環(huán)境中，并使其可通過其他應(yīng)用程序訪問。

大數(shù)據(jù)分析和預(yù)測分析比較

在某些情況下，大數(shù)據(jù)和預(yù)測分析聽起來很相似，但它們絕對不是一回事。因此以下研究一下預(yù)測分析和大數(shù)據(jù)比較，以了解它們之間有什么不同。

如何使用大數(shù)據(jù)進(jìn)行預(yù)測分析?

為了預(yù)測未來事件，預(yù)測分析可以識別有意義的大數(shù)據(jù)模式，還可以應(yīng)用于當(dāng)前、過去和未來的未知數(shù)據(jù)。使用大數(shù)據(jù)的預(yù)測分析能夠提供有價(jià)值的商業(yè)智能信息。

為了產(chǎn)生影響，大數(shù)據(jù)中的預(yù)測分析有幾種工作模型，其中包括：

(1)決策樹

該模型看起來像一棵樹，其中樹枝表示可用的選擇，而樹葉表示決策。該模型使用簡單，可以為企業(yè)節(jié)省緊急決策的時(shí)間，在短時(shí)間內(nèi)預(yù)測最佳結(jié)果。

(2)回歸

該模型用于統(tǒng)計(jì)分析，企業(yè)擁有大量數(shù)據(jù)并需要確定某些模式。此外，輸入之間應(yīng)該存在線性關(guān)系。該模型構(gòu)成了一個(gè)公式，該公式顯示了數(shù)據(jù)集中所有輸入之間的具體關(guān)系。

(3)神經(jīng)網(wǎng)絡(luò)

這個(gè)模型在某種程度上模仿了人腦的工作機(jī)理。它處理應(yīng)用于人工智能和模式識別的復(fù)雜數(shù)據(jù)關(guān)系。需要了解輸入和輸出之間的關(guān)系或需要預(yù)測事件的大量數(shù)據(jù)存在的問題，因此該模型成為一個(gè)有用的工具。

(4)使用預(yù)測分析的行業(yè)和項(xiàng)目

需要分析大量數(shù)據(jù)的行業(yè)正在積極使用大數(shù)據(jù)進(jìn)行預(yù)測分析。這些行業(yè)其中包括：

• 衛(wèi)生保健
• 零售
• 銀行業(yè)
• 制造業(yè)
• 公共交通工具
• 網(wǎng)絡(luò)安全

更適合使用大數(shù)據(jù)和預(yù)測分析的項(xiàng)目是：

• 用于網(wǎng)絡(luò)安全的大數(shù)據(jù)
• 健康狀況預(yù)測
• 云服務(wù)器異常檢測
• 招聘大數(shù)據(jù)職位
• 大數(shù)據(jù)收集中的惡意用戶檢測
• 游客行為分析
• 信用評分
• 電價(jià)預(yù)測

該列表可以更進(jìn)一步擴(kuò)展，因此預(yù)測分析幾乎適用于任何地方。

結(jié)論

大數(shù)據(jù)分析和預(yù)測分析都可以通過分析、分組和清理所有不相關(guān)信息的消費(fèi)者數(shù)據(jù)集幫助企業(yè)推進(jìn)業(yè)務(wù)發(fā)展。大數(shù)據(jù)預(yù)測分析使企業(yè)能夠展望未來，并根據(jù)過去的經(jīng)驗(yàn)、現(xiàn)在的實(shí)踐以及預(yù)先規(guī)劃的未來方向向前發(fā)展。

原文標(biāo)題：Complete Guide to Predictive Analytics and Big Data Analytics，作者：Nazar Kvartalnyi

【51CTO譯稿，合作站點(diǎn)轉(zhuǎn)載請注明原文譯者和出處為51CTO.com】