詳解分布式云計算和數據治理
當各種類型的數據開始通過多個數據通道實時大量流入時,數據管理業務面臨著新的復雜性。對超高速、大容量、多類型的業務數據的分析,需要先進的數據管理技術和工具的成長和發展,云計算技術就是在這種需要下應運而生的。
然后,在單一、公共或私有云網絡未能提供預期的業務結果之后,出現了多云和混合云環境時代。
數據管理通常包括高度復雜的任務,例如數據存儲、數據集成、數據質量管理、數據安全和數據庫管理。隨著數據速度和數量的不斷增加、數據類型的多樣性以及無限的數據通道(傳感器數據),數據管理很快就會變成一場噩夢,需要有效的技術解決方案。雪上加霜的是,將數據從數據存儲傳輸到遠程服務器的問題成為大多數企業難以解決的難題。
據預測,到 2022 年,基于云的服務市場將滿足“90% 的組織”。盡管云平臺潛力巨大,但云服務提供商也面臨不少挑戰。在當前數據優先和人工智能優先的時代,實時數據分析主宰著商業格局,業務分析的復雜挑戰是:
- 孤立的數據存儲庫妨礙無縫數據集成
- 由于數據源、數據類型和數據量的增加而導致的低質量數據
- 缺乏合格的數據科學人員
- 缺乏明確定義的數據治理 (DG) 政策
因此,企業已經開始尋找能夠解決上述所有挑戰的數據管理平臺和工具方面的技術解決方案。這也轉化為全面的數據管理戰略,該戰略考慮了未來的數據質量、數據治理和復雜的云基礎設施。

1. 多云的數據治理挑戰
設想一個業務場景,客戶必須管理多個業務部門——每個業務部門都配備了自己的邊緣計算環境,由獨特的云服務提供商托管和管理。管理這種地理上和運營上分散的數據可能會造成巨大的數據管理故障。 多云的最大好處是靈活性,即在企業需要的時間和地點提供解決方案的能力。
在混合云基礎架構中,資源在本地、私有云和公共云環境中共享?;旌显浦许樌\行的最大障礙是缺乏治理和法規遵從性。
緩解混合云中數據管理的挑戰表明,盡管混合云提供了未來的解決方案,但混合網絡上的數據安全性和合規性問題是企業必須準備應對的問題。
然而,在多云環境或者在混合云中,盡管所有計算資源都分布在廣域網上;資源管理(服務器)有些分散,對計算服務的流動產生不利影響。
因此,這些類型的云計算設置會導致資源管理不一致和錯誤,從而影響整體網絡性能質量。此外,在日益規范的IT世界中,這些云網絡現在面臨著嚴重的合規性和治理問題。多云世界中數據治理的挑戰解釋了企業可以在多云環境中采用的一些 DG 最佳實踐。
2. 云倉庫的數據治理挑戰
數據倉庫日益增長的重要性在 Mordor Intelligence 報告中得到了回應,該報告表明數據倉庫市場正以“11.17% 的復合年增長率從 2019 年的 63 億美元增長到 2025 年的 119.5 億美元”。在云上,數據倉庫的開發進一步簡化和加速。但是,數據治理和安全性仍然是需要關注的兩個關鍵方面。
Privacera 首席執行官 Balaji Ganesan表示:
要變得像今天的數據環境那樣去中心化和異構,數據治理需要集中管理,但需要本地執行。這實際上意味著實際的執行是由盡可能接近數據的數據庫和應用程序完成的,而不是放入另一個層,這會成為單點故障。
3. 分布式云成為最終贏家
為了闡明混合云和分布式云之間的主要區別,Gartner分析師曾評論:
“混合云的一部分由客戶設計、擁有、控制和運營,另一部分由公共云提供商負責??蛻舯A魧ζ溥\營部分的責任,但無法利用公共云提供商的能力(例如技能、創新速度、投資和技術)。分布式云是下一代云計算,在保留云計算優勢的同時擴展了云的范圍和用例。首席信息官可以使用分布式云模型來定位未來需要的位置相關的云用例?!?/p>
那么,什么是分布式云環境?分布式云促進了跨地域的多個公共云網絡的共存,結合了本地數據中心、遠程云提供商的網絡和其他第三方位置。但是,管理是從單點集中控制的。
在分布式云網絡中,通過提供邊緣計算已經很好地解決了這個問題——允許服務器和應用程序在非常接近數據位置的地方執行,從而將業務分析的速度、質量和性能提高幾個檔次。更重要的是,隨著先進數據技術(如大數據、物聯網 (IoT) 和人工智能 (AI)等先進數據技術的出現,邊緣計算得到了商業推動。
邊緣有助于解決以前在多云或混合云中被忽視的合規性問題。分布式云和邊緣計算共同實現了在復雜的多云環境中所有系統的一致性。
分布式云操作的最大好處是將中央云的功能和服務擴展到遠程衛星網絡。誰是最大的受益者?當然是客戶,客戶現在可以在“單一控制平面”上從他所在的位置管理多個地理上分散的業務部門的所有業務計算需求。
4. 賦予數據消費者權力
在自助數據分析時代,“賦能普通企業消費者”是企業的核心重點。雖然通用數據保護條例 (GDPR) 等數據法規對全球企業施加了巨大壓力,要求它們進行遵守,但是一些新的挑戰,例如企業數據素養推動企業打破數據孤島,轉向技術支持的數據共享功能。
5. 展望未來:分布式數據管理就是答案
分布式數據管理路線圖表明,鑒于企業中數據的指數級增長,集中的 IT 團隊不可能管理和治理企業范圍的數據。為了確保對其所有用戶的數據訪問得到良好管理和監管,企業必須轉向分布式數據管理模型。
在分布式數據管理模型中,數據管理角色和職責在整個企業中共享。在這個新場景中,分散的專家團隊將“管理數據訪問和權限,同時消除目前集中 IT 存在的瓶頸?!?/p>
實際的實施過程可能相對困難,并且可能需要幾年時間才能演變成一個成熟的工作解決方案。未來的數據治理平臺將需要綜合規則用于數據處理,其中包括安全性、合規性以及其他數據管理任務的核心問題。





















