執行良好的大數據戰略可以簡化運營成本、縮短上市時間并支持新產品。但是，在將董事會討論的大數據舉措付諸實踐的過程中，企業面臨著各種大數據挑戰。

IT和數據專業人員需要構建物理基礎架構，以便在不同來源和多個應用程序之間移動數據。他們還需要滿足性能、可擴展性、及時性、安全性和數據治理的要求。此外，企業必須預先考慮部署成本，因為它們可能會迅速失控。

也許最重要的是，企業首先需要弄清楚大數據如何以及為什么對他們的業務很重要。

ERP軟件提供商VAI的商業智能經理Bill Szybillo說：“大數據項目面臨的最大挑戰之一是，如何成功應用所獲得的見解。”

他解釋說，很多應用程序和系統都在捕獲數據，但企業往往難以理解什么是有價值的數據，而且無法應用這些見解-以一種有影響力的方式。

從更廣泛的角度來看，下面的建議可幫助企業了解這10個大數據挑戰以及如何解決這些挑戰。

1. 管理大量數據

就其定義而言，大數據通常涉及存儲在不同系統和平臺中的大量數據。Szybillo表示，企業面臨的第一個挑戰是將他們從CRM和ERP系統以及其他數據源中提取的超大型數據集整合到統一且可管理的大數據架構中。

他說，當你對正在收集的數據有所了解，通過進行小的調整就可以更容易地縮小見解。要實現這一點，請構建允許增量更改的基礎架構。嘗試做較大改變可能最終會產生新的問題。

2.發現和修復數據質量問題

當數據質量問題蔓延到大數據系統時，基于大數據構建的分析算法和人工智能應用程序可能會產生糟糕的結果。隨著數據管理和分析團隊試圖引入更多不同類型的數據，這些問題可能會變得更加嚴重和難以審計。Bundler是一個在線市場，用于尋找幫助人們購買產品和安排發貨的網絡購物助手，當它擴展到500,000名客戶時，就經歷了這樣的問題。該公司的關鍵增長動力是利用大數據提供高度個性化的體驗、識別追加銷售機會，并監控新趨勢。有效的數據質量管理是關鍵問題。

Bundler首席執行官Pavel Kovalenko說：“你需要不斷監控和修復任何數據質量問題。”他說，重復條目和拼寫錯誤很常見，尤其是當數據來自不同來源時。為了確保他們所收集數據的質量，Kovalenko的團隊創建了一個智能數據識別器，該識別器將重復數據與較小的數據差異進行匹配，并報告任何可能的拼寫錯誤。對于通過分析數據生成的業務見解，這可幫組提高準確性。

3. 應對數據集成和準備復雜性

開源分析平臺供應商Knime首席數據科學家Rosaria Silipo稱，大數據平臺解決了收集和存儲大量不同類型數據的問題，并可快速檢索分析使用所需的數據。但數據收集過程仍然非常具有挑戰性。

企業收集的數據存儲的完整性取決于它們的不斷更新。這需要保持對各種數據源的訪問，并擁有專門的大數據集成策略。

有些企業使用數據湖作為包羅萬象的存儲庫，以存儲不同來源收集的大數據集，而沒有考慮如何集成不同的數據。例如，各種業務領域會產生對聯合分析很重要的數據，但這些數據通常帶有不同的底層語義，企業必須消除歧義。Silipo告誡不要對項目進行臨時集成，這可能涉及大量返工。為了獲得大數據項目的最佳投資回報率，通常最好制定戰略方法以支持數據集成。

4. 高效且經濟地擴展大數據系統

如果企業沒有關于如何使用大數據的策略，他們可能會浪費大量資金來存儲大數據。技術和服務提供商ZL Tech的企業解決方案負責人George Kobakhidze表示，企業需要了解大數據分析始于數據攝取階段。管理企業數據存儲庫還需要一致的保留策略，以循環淘汰舊信息，尤其是現在，因為COVID-19疫情前的數據在當今市場上通常不再準確。

云管理平臺供應商CloudCheckr的產品副總裁Travis Rehl說，因此，數據管理團隊應該在部署大數據系統之前，規劃好數據的類型、模式和用途。但這說起來容易做起來難。

他表示：“通常，你從一個數據模型開始并進行擴展，但很快意識到該模型不適合你的新數據點，并且你突然需要解決技術債務。”

具有適當數據結構的通用數據湖可以更輕松地有效且經濟地重用數據。例如，Parquet文件通常比數據湖中的CSV轉儲提供更好的性能成本比。

5. 評估和選擇大數據技術

數據管理團隊有多種大數據技術可供選擇，而且各種工具的功能往往重疊。

NoSQL數據庫公司Aerospike的首席戰略官Lenley Hensarling建議團隊首先考慮來自流和批處理源的數據的當前和未來需求，例如大型機、云應用程序和第三方數據服務。例如，需要考慮的企業級流媒體平臺包括Apache Kafka、Apache Pulsar、AWS Kinesis和Google Pub/Sub，所有這些平臺都提供云計算、本地和混合云系統之間的無縫數據移動。

接下來，團隊應該開始評估復雜數據準備能力，為人工智能、機器學習和其他高級分析系統提供數據。規劃數據的處理位置也很重要。對于存在延遲問題的情況，團隊需要考慮如何在邊緣服務器上運行分析和AI模型，以及如何輕松更新模型。企業需要平衡這些功能與部署和管理在本地、云端或邊緣運行的設備和應用程序的成本。

6. 生成業務見解

數據團隊傾向于關注大數據技術，而不是結果。在很多情況下，Silipo發現人們很少關注如何處理數據。

從企業中的大數據應用程序中生成有價值的業務見解需要考慮各種場景，例如創建基于KPI的報告、識別有用的預測或提出不同類型的建議。

這將需要具有機器學習專業知識的業務分析專業人士、統計學家和數據科學家的共同努力。她說，這些團隊與大數據工程團隊合作可以幫助提高構建大數據環境的投資回報率。

7. 雇傭和留住具有大數據技能的員工

軟件開發和IT外包公司SenecaGlobal戰略高級副總裁Mike O’Malley表示：“大數據軟件開發面臨的最大挑戰之一是尋找和留住具有大數據技能的員工。”

這種特殊的大數據趨勢不太可能很快消失。S&P Global的一份報告發現，云架構師和數據科學家是2021年需求最大的職位之一。填補這些職位的策略是與已經建立人才庫的軟件開發服務公司合作。

提供免費IT培訓的慈善機構ComIT的創始人兼所有者Pablo Listingart說，另一個策略是與HR合作，找出并解決現有大數據人才的任何缺口。

他表示：“很多大數據計劃之所以失敗，是因為從項目開始到結束的錯誤預期和錯誤估計。”合適的團隊將能夠估計風險、評估嚴重性并解決各種大數據挑戰。

建立吸引和留住合適人才的文化也很重要。客戶數據平臺供應商Meiro的首席技術官Vojtech Kurka說，他一開始的設想是，他可以在正確的位置使用一些SQL和Python腳本來解決所有數據問題。隨著時間的推移，他意識到，他可以取得更大的進步-通過雇用合適的人，并推廣一種讓人們快樂和積極的安全公司文化。

8. 防止成本失控

數據集成公司AtScale的創始人兼首席技術官David Mariani稱，另一個常見的大數據挑戰是“云賬單心臟病發作”。很多企業使用現有的數據消耗指標來估計新的大數據基礎設施的成本，但這是一個錯誤。

其中一個問題是，企業低估了對計算資源的需求，更豐富數據集帶來更廣泛的訪問，這需要更高的計算資源。特別是，云計算讓大數據平臺更容易呈現更豐富、更細化的數據，這種能力會推高成本，因為云系統將彈性擴展以滿足用戶需求。

使用按需定價模型也會增加成本。一種好的做法是選擇固定資源定價，但這并不能完全解決問題。盡管計量器停止在固定數量，但編寫不佳的應用程序最終可能仍會消耗影響其他用戶和工作負載的資源。因此，另一個好的做法是對查詢實施細粒度的控制。Mariani稱：“我見過幾個客戶，由于SQL設計不佳，用戶編寫了10,000美元的查詢。”

CloudCheckr公司的Rehl還建議，數據管理團隊在與業務和數據工程團隊討論大數據部署時，提前提出成本問題。定義它的要求是企業的責任;軟件開發人員應負責以有效格式交付數據，DevOps負責確保監控和管理正確的歸檔策略和增長率。

9. 管理大數據環境

隨著大數據應用程序跨更多系統增長，數據管理問題變得越來越難以解決。隨著新的云架構使企業能夠以非聚合形式捕獲和存儲他們收集的所有數據，這個問題變得更加復雜。受保護的信息字段可能會意外潛入各種應用程序。

Mariani 稱：“根據我的經驗，如果沒有數據治理策略和控制，可能會失去更廣泛、更深入的數據訪問的大部分好處。”

好的做法是將數據視為一種產品，從一開始就制定內置的治理規則。在前期投入更多時間在識別和管理大數據治理問題，將更容易提供自助服務訪問，而不需要監督每個新用例。

10. 請確保理解數據背景信息和用例

企業還傾向于過分強調技術，而不了解數據的背景信息及其對業務的用途。

數據爭論工具提供商Trifacta公司首席執行官Adam Wilson說：“企業通常投入大量精力在考慮大數據存儲架構、安全框架和攝取方面，但很少考慮引導用戶和用例。”

團隊需要考慮誰將提煉數據以及如何提煉數據。那些最接近業務問題的人需要與最接近技術的人合作，以管理風險并確保正確對齊。這涉及到思考如何使數據工程民主化。構建一些簡單的端到端用例也有助于獲得早期勝利、了解限制并吸引用戶。