如今，企業處理大數據的方式正在迅速發生改變。短短幾年前，大數據只是一個熱門的流行語，大多數組織都在嘗試使用Hadoop和相關技術。如今，大數據技術，特別是大數據分析已經演變成為大多數企業戰略的重要組成部分，企業面臨著緊跟大數據快速發展的巨大壓力。

[[231011]]

NewVantage公司開展的2018年合作伙伴的大數據高管調查表明，發現大數據項目以及這些項目帶來的收益幾乎變得很普遍。在受訪者中，有97.2%的高管表示他們的公司正在實施大數據或人工智能(AI)計劃，98.6%的人表示他們的公司正試圖創建一個數據驅動文化，而2017年這個數字為85.5%。絕大多數的受訪者(73%)表示，他們已經通過大數據舉措獲得了可衡量的價值。

由供應商AtScale公司獨立進行的2018年大數據成熟度調查發現，66%的組織認為大數據具有戰略性或改變游戲規則，而只有17%的組織認為該技術是實驗性的。另外，95%的受訪者表示，計劃在未來三個月內使用大數據開展更多的工作。

但他們對大數據究竟會做些什么呢?

一系列不同的趨勢正在影響大數據舉措，但四個總體主題正在成為2018年影響大數據的關鍵因素：云計算、機器學習、數據治理，以及對速度的需求。

1. 云計算

分析師認為，大數據正在向云計算邁進。調研機構Forrester公司的Brian Hopkins表示：“通過云訂閱的全球大數據解決方案支出增長速度將比內部訂閱訂單快7.5倍。此外，根據2016年和2017年的數據調查，公共云是大數據分析專業人員的首要技術優先事項。”他表示，通過公共云服務提供的成本優勢和創新將對大多數企業來說無法抗拒。

而一些調查似乎支持這些結論：

在AtScale公司的調查報告中，59%的受訪者表示他們已經在云中部署了大數據，77%的受訪者預計其部分或全部大數據部署將在云中。

Teradata公司云計算狀況分析報告發現，對基于云計算的大數據分析的需求更高。38%的受訪者表示，云端是運行分析的最佳場所，69%的受訪者表示他們希望在2023年之前在云平臺中運行所有分析。

他們為什么如此熱切地轉向云端?云計算分析的預期收益包括更快的部署(51%)，更高的安全性(46%)，更好的性能(44%)，更快的數據洞察力(44%)，用戶更容易訪問(43%)，成本更低的維護(41%)。

組織將繼續將其數據存儲遷移到公共云提供商的云服務中，并且當數據已經駐留在云中時，在云中執行大數據分析的速度也會更快、更輕松，成本更低。

另外，許多云計算提供商提供人工智能和機器學習工具，使云計算更具吸引力。

2. 機器學習和人工智能

機器學習是人工智能的一個重要組成部分，它在沒有被計算機明確編程的情況下學習，它與大數據分析有著內在聯系，因此這兩個術語有時會混合在一起。事實上，今年NewVantage公司年度大數據調查的封面已經重新設計，以顯示它包含大數據和人工智能。

調查報告的作者寫道：“大數據和人工智能項目幾乎難以區分，特別是考慮到機器學習是處理大量快速移動數據的最流行技術之一。”

當這項調查要求管理人員選擇哪種大數據技術會產生最大的顛覆性影響時，71.8%的受訪者選擇的最多選項是人工智能。與2017年相比，這是一個顯著的增長，當時只有44.3%的受訪者表示同樣的觀點。尤其值得注意的是，人工智能遠遠領先于云計算(12.7%)和區塊鏈(7.0%)。

調查機構Gartner公司研究副總裁John-David Lovelock的觀點與這些高管達成一致。 “由于計算能力、數量、速度和各種數據的進步，以及深度神經網絡(DNNs)的發展，人工智能在未來10年內承諾將成為最具顛覆性的技術類別。”他表示。

Gartner公司最近進行的預測表明，“從人工智能(AI)獲得的全球商業價值預計在2018年將達到1.2萬億美元，比2017年增長70%。”展望未來，Gartner公司分析師補充說：“預測2022年人工智能的商業價值將達到3.9萬億美元。”

考慮到潛在的商業價值，企業計劃大量投資于機器學習和相關技術并不令人驚訝。據調研機構IDC公司稱，“2018年全球認知與人工智能(AI)系統支出將達到191億美元，比2017年的支出增長54.2%。”

3. 數據治理

但是，雖然云計算和機器學習帶來的潛在收益正在推動企業投資這些大數據技術，但企業仍然面臨著與大數據相關的重大障礙。

其中最重要的一點是如何確保所有數據的準確性、可用性、安全性和合規性。

當AtScale公司的調查要求受訪者指出他們面臨的與大數據相關的最大挑戰時，治理是排在第二位，僅落后于技能組合，而這是每年調查中所提出的頭號挑戰。早在2016年，治理只位列挑戰清單的底部，因此其升至第二位，其變化尤其顯著。組織現在更關心數據治理，而不是性能、安全或數據管理。

重新引起人們關注的部分原因可能是最近發生的Facebook公司和英國劍橋分析的數據泄露丑聞。這個違規事件非常清楚地表明，潛在的公共關系噩夢可能會由于失去數據的正常發展軌跡而發生，并且無法正確保護用戶的隱私。

歐盟頒布的通用數據保護條例(GDPR)是今年5月生效的另一大變革力量。它要求所有擁有歐盟公民的數據的組織都能夠滿足某些要求，例如違規通知、訪問權限、被遺忘權利、數據可移植性、設計隱私，以及任命數據保護人員。

監管變革給組織帶來了越來越大的壓力，以確保他們知道自己擁有哪些數據以及駐留在哪里，并確保正確地保護這些數據。這是一項艱巨的任務，需要很多企業加緊制定，并重新思考他們的大數據戰略。

4. 速度的需要

與此同時，他們感到需要放緩處理數據治理問題的速度，許多企業也有對更快速的大數據分析的需求。

在NewVantage公司的調查中，47.8%的管理人員表示，他們主要使用大數據的原因是近實時的、日常儀表板和操作報告，或者是實時互動，或者是面向客戶的流媒體，或者是關鍵任務應用。這是一個重要的發展，因為數據分析的傳統用途是每天、每周或每月執行批量報告。

同樣，Syncsort公司的調查發現，60.4%的受訪者對實時分析感興趣。

為了滿足實時或接近實時性能的需求，企業越來越傾向于使用內存技術。由于處理內存(RAM)中的數據比訪問存儲在硬盤驅動器或固態硬盤驅動器上的數據快得多，因此內存技術可以顯著提高速度。

事實上，SAP公司宣稱其專有的HANA技術已幫助一些公司加快業務流程的速度達到原來的10000倍。盡管大多數公司沒有體驗到這種性能提升，但SAP公司并不是唯一一家在內存技術方面做出巨大貢獻的公司。Apache Spark是一款運行在內存中的開源大數據分析引擎，它宣稱可以運行比標準Hadoop引擎快100倍的工作負載。

企業似乎注意到這些性能改進。供應商Qubole報告說，2017年至2018年期間Apache Spark在計算時間方面的用量增長了298%。當人們查看在Apache Spark上運行的命令數量時，其增長更加令人印象深刻，2017年至2018年間在Spark上運行的命令總數提高了439%。

在某些方面，對速度的這種需求也推動了其他三大數據宏觀趨勢的發展。其部分原因是組織將大數據遷移到云中，因為他們希望獲得性能提升。他們至少在一定程度上投資于機器學習和人工智能，因為他們希望獲得更快、更好的見解。他們正在經歷與數據治理和合規性相關的挑戰，至少部分原因在于他們如此快速地接受大數據技術，而沒有首先解決所有數據質量、隱私、安全和合規性問題。

在不久的將來，隨著企業尋找新的方式來利用大數據顛覆他們的行業。并獲得競爭優勢，預計所有這四種趨勢將會持續并加快發展。