大數據安全一直是人們關注的問題，因為大數據的項目部署是網絡攻擊者的重要目標。勒索軟件攻擊可能會使企業的大數據部署受到勒索要求的影響。更糟糕的是，未經授權的用戶可能會訪問和竊取大數據以出售有價值的信息，使受害者損失慘重。網絡攻擊者可以將企業存儲的人們的信息傳播給未經授權的買家，可能會受到監管機構的罰款和判決，也可能會受到巨大的聲譽損失。

保護大數據平臺需要結合傳統的安全工具、新開發的工具集和智能流程，以在大數據平臺的生命周期內監控安全性。

大數據的安全概述

大數據安全的使命非常明確：企業可以通過防火墻、強大的用戶身份驗證、最終用戶培訓以及入侵保護系統(IPS)和入侵檢測系統(IDS)阻止未經授權的用戶和入侵。如果有人確實獲得了訪問權限，需要加密其傳輸中和靜止數據。

這聽起來像是企業采用網絡安全策略。然而，大數據環境將增加另一層安全性，因為安全工具必須在網絡中并非全部存在的三個數據階段運行。它們是：

• 數據入口(輸入的內容)；
• 存儲的數據(存儲的內容)；
• 數據輸出(輸出到應用程序和報告的內容)。

(1) 第1階段：數據源。

大數據源來自各種來源和數據類型。僅用戶生成的數據就可以包括客戶關系管理(CRM)或企業資源管理(ERM)數據、交易和數據庫數據以及大量非結構化數據，例如電子郵件或社交媒體帖子。除此之外，企業還擁有整個機器生成的數據，包括日志和傳感器。因此需要在從源到平臺的傳輸過程中保護這些數據。

(2) 第2階段：存儲數據。

保護存儲的數據需要成熟的安全工具集，包括靜態加密、強大的用戶身份驗證以及入侵保護和規劃。還需要在具有許多服務器和節點的分布式集群平臺上運行其安全工具集。此外，安全工具必須保護在平臺內運行的日志文件和分析工具。

(3) 第3階段：輸出數據。

大數據平臺復雜性和費用高的全部原因是能夠對海量數據和不同類型的數據進行有意義的分析。這些分析將其結果輸出到應用程序、報告和儀表板。這種極其寶貴的情報和信息為網絡入侵提供了豐富的目標，并且對輸出和入口進行加密至關重要。此外，在這一階段確保合規性，并確保發送給最終用戶的結果不包含受監管的數據。

大數據安全的挑戰之一是數據通過迂回路徑路由，在理論上可能存在多個漏洞。

導航大數據安全和趨勢

大數據領域的兩個最主要趨勢在某種程度上相互對立：為智能技術提供信息的大數據激增，以及消費者擁有和決定如何使用他們的個人數據的權利。物聯網、人工智能、機器學習，甚至客戶關系管理(CRM)數據庫等技術都會收集TB級的數據，其中包含高度敏感的個人信息。這種個人信息的大數據對于希望更好地為受眾提供產品和服務的企業來說是有價值的，但這也意味著所有企業和第三方供應商都對個人數據的道德使用和管理負責。

隨著大數據及其企業用例的不斷增長，大多數企業努力遵守消費者數據法律和法規，但它們的安全漏洞使數據容易受到破壞。看看大數據世界中發生的一些主要趨勢、許多企業都缺少的重要安全點，以及正確確保大數據安全的一些技巧：

(1) 更新云計算和分布式安全基礎設施

大數據的增長促使許多企業轉向允許更多數據存儲可擴展性的云計算和數據結構基礎設施。那么面臨的問題是什么？云安全通常是基于傳統安全原則建立的，因此，云安全功能配置錯誤并容易受到攻擊。企業與云計算和存儲供應商討論他們的產品，是否嵌入了安全解決方案，以及他們或第三方合作伙伴是否推薦任何其他安全資源。

(2) 設置移動設備管理政策和程序

物聯網和其他移動設備是大數據的一些最大來源和接收者，但它們也提供了幾個安全漏洞，因為這些技術中有很多是為個人生活所擁有和使用的。為員工如何使用個人設備上的企業數據制定嚴格的政策，并確保設置額外的安全層，以管理哪些設備可以訪問敏感數據。

(3) 提供數據安全培訓和最佳實踐

在大多數情況下，大數據因成功的網絡釣魚攻擊或其他針對不知情人員的個性化攻擊而受到損害。就典型的社會工程攻擊及其方式對企業的員工進行培訓，并再次設置多層身份驗證安全以限制誰可以訪問敏感數據存儲。

大數據安全的挑戰

保護大數據存在一些可能危及其安全性的挑戰。需要記住，這些挑戰絕不僅限于本地的大數據平臺。它們也與云計算有關。當企業在云中托管大數據平臺時，不要想當然如此。企業需要與其提供商密切合作，通過強大的安全服務級別協議克服這些相同的挑戰。

保護大數據的挑戰：

• 用于非結構化大數據和非關系數據庫(NoSQL)的高級分析工具是正在積極開發的新技術。安全軟件和流程可能很難保護這些新工具集。
• 成熟的安全工具有效地保護數據進入和存儲。但是，它們可能對從多個分析工具到多個位置的數據輸出產生不同的影響。
• 大數據管理員可能會在未經許可或通知的情況下決定挖掘數據。無論其動機是好奇心還是犯罪利潤，企業的安全工具都需要監控可疑訪問并發出警報，無論它來自何處。
• 大數據的規模(TB到PB級)對于日常安全審計來說太大了。而且由于大多數大數據平臺都是基于集群的，這會在多個節點和服務器上引入多個漏洞。
• 如果大數據所有者不定期更新環境安全，他們將面臨數據丟失和暴露的風險。

大數據安全的技術

目前市場上有一些大數據安全工具，它們具有可擴展性和在不同階段保護多種類型數據的能力。

(1) 加密：企業的加密工具需要保護傳輸中和靜止數據的安全，并且需要跨海量數據進行加密。加密還需要對許多不同類型的數據進行操作，包括用戶生成的和機器生成的數據。加密工具還需要使用不同的分析工具集及其輸出數據，以及常見的大數據存儲格式，包括關系數據庫管理系統(RDBMS)、非關系數據庫(如NoSQL)和專用文件系統(如Hadoop分布式文件系統(HDFS)).

(2) 集中式密鑰管理：集中式密鑰管理多年來一直是安全最佳實踐。它同樣適用于大數據環境，尤其是那些地理分布廣泛的環境。最佳實踐包括策略驅動的自動化、日志記錄、按需密鑰交付以及從密鑰使用中抽象出密鑰管理。

(3) 用戶訪問控制：用戶訪問控制可能是最基本的網絡安全工具，但由于管理開銷可能非常高，許多企業實施最小的控制。這在網絡層面已經足夠危險，對大數據平臺來說可能是災難性的。強大的用戶訪問控制需要一種基于策略的方法，可以根據用戶和基于角色的設置自動訪問。策略驅動的自動化管理復雜的用戶控制級別，例如保護大數據平臺免受內部攻擊的多個管理員設置。

(4) 入侵檢測和防御：入侵檢測和防御系統是安全的主力軍。這并不會降低它們對大數據平臺的價值。大數據的價值和分布式架構有助于入侵嘗試。IPS使安全管理員能夠保護大數據平臺免受入侵，如果入侵成功，入侵檢測系統(IDS)會在入侵造成重大破壞之前對其進行隔離。

(5) 物理安全：不要忽視物理安全。當企業在自己的數據中心部署大數據平臺或仔細圍繞云計算提供商的數據中心安全性進行盡職調查時，只需要構建它。物理安全系統可以拒絕陌生人或在敏感區域沒有業務的員工訪問數據中心。視頻監控和安全日志也會這樣做。

大數據安全公司

數字安全是一個巨大的領域，有著成千上萬的供應商。鑒于其高技術挑戰和可擴展性要求，大數據安全是一個相當小的領域。然而，大數據所有者希望獲得有價值的就業機會，供應商正在做出回應。以下是幾家具有代表性的大數據安全公司。

(1) Snowflake

Snowflake的數據專家團隊認為，數據安全性應該內置于所有數據管理系統中，而不是事后添加。Snowflake的數據云包括全面的數據安全功能，例如數據屏蔽和傳輸中和靜止數據的端到端加密。他們還為用戶提供可訪問的支持，允許他們提交報告，Snowflake和他們的合作伙伴HackerOne可以在運行他們的私人錯誤程序時進行分析。

(2) Teradata

Teradata公司是數據庫和分析軟件的頂級供應商，但他們也是云計算數據安全解決方案的主要支持者和供應商。他們的托管服務稱為云數據安全即服務，提供定期的第三方審計，為數據監管委員會審計做準備。它們還提供傳輸和靜態數據加密、數據庫用戶角色管理、存儲設備退役、云安全監控和兩層云安全防御計劃等功能。

(3) Cloudera

Cloudera的大數據安全主要策略是通過共享數據體驗(SDX)或從統一的角度跨所有工作負載管理安全和策略的想法來整合安全管理。這意味著即使工具和最常用的工作負載隨時間發生變化，策略和安全更新仍然可以集中管理而沒有孤島。在他們的安全解決方案中，Cloudera提供統一的身份驗證和授權、審計的端到端可見性、特定于Hadoop的安全解決方案、特定于數據策略的解決方案以及多種形式的加密。

(4) IBM

IBM公司的數據安全產品組合側重于多種環境、全球數據法規和簡單的解決方案，以便用戶可以在部署后輕松管理其數據源和安全更新。IBM公司在數據安全方面關注的一些主要領域包括混合云安全管理、嵌入式策略和法規管理以及安全的開源分析管理。

(5) Oracle

Oracle是大數據市場中最大的數據庫主機和提供商之一，但他們也為客戶提供多種頂級安全工具。他們的安全解決方案側重于以下類別：安全評估、數據保護和訪問控制以及審計和監控他們還為兩個最受歡迎的解決方案(自治數據庫和Exadata)擴展了特定于平臺的安全支持。

大數據的安全實施

無論企業是剛開始接觸大數據管理并正在尋找初步的大數據安全解決方案，還是企業是大數據的長期用戶并需要更新的安全性，這里有一些大數據安全實施的提示：

(1) 很好地管理和培訓內部用戶：如上所述，員工的意外安全錯誤是惡意行為者最常使用的安全漏洞之一。對企業的員工進行安全和憑證管理最佳實踐的培訓，建立并讓所有用戶簽署移動和公司設備策略，并根據每個用戶的角色僅向他們提供最低限度的數據源訪問權限。

(2) 計劃定期安全監控和審計：尤其是在大數據和軟件幾乎每天都在增長的大企業中，定期評估網絡和數據格局如何隨時間變化非常重要。市場上提供了多種網絡監控工具和第三方服務，讓其安全人員能夠實時了解異常活動和用戶。定期安全審計還讓其團隊有機會在問題成為真正的安全問題之前評估更宏觀的問題。

(3) 與值得信賴的大數據公司交談：大數據存儲、分析和托管服務提供商通常會提供某種形式的安全性或與提供此類服務的第三方組織合作。企業使用的平臺可能不具備其行業或特定用例所需的所有特定功能，因此企業與其提供商討論安全問題、監管要求和大數據用例，以便他們可以定制他們的服務以需要什么。

誰負責大數據安全？

大數據部署跨越多個業務部門。IT、數據庫管理員、程序員、質量測試員、信息安全、合規官和業務部門都以某種方式負責大數據部署。那么誰負責保護大數據?答案是每個人。IT和信息安全負責制定有效保護大數據部署免受惡意軟件和未經授權的用戶訪問的策略、程序和安全軟件。合規性管理人員必須與該團隊密切合作以保護合規性，例如自動從發送給質量控制團隊的結果中刪除信用卡號碼。IT團隊應與信息安全團隊密切合作，以保護他們的數據庫。

最后，最終用戶同樣有責任保護企業數據。具有諷刺意味的是，盡管許多企業使用他們的大數據平臺來檢測入侵異常，但該大數據平臺與任何存儲的數據一樣容易受到惡意軟件和入侵的攻擊。攻擊者滲透網絡(包括大數據平臺)的最簡單方法之一是簡單的電子郵件。盡管大多數用戶都知道遭遇網絡攻擊的嚴重性，但一些網絡釣魚攻擊非常復雜。當企業為大數據平臺管理安全性時，或者是梳理電子郵件的最終用戶時，不要忽視不安全的電子郵件帶來的危害。

而保護大數據平臺免受網絡威脅，可以在多年內為企業的業務提供良好服務。