數據編織(data fabric)實現了統一的數據管理架構，使企業能夠從可擴展和融合的數據能力中獲益。數據編織被定義為一種新興的方法，能夠基于網絡架構而不是點對點的連接來處理數據。這實現了從數據源層面到分析、分析結果生成、協調和應用的一體化數據層(結構)。本文詳細闡述了數據編織、其關鍵組件和最佳實踐三方面內容。

什么是數據編織

數據編織是一種新興的方法，能夠基于網絡架構而不是點對點的連接來處理數據。這實現了從數據源層面到分析、分析結果生成、協調和應用的一體化數據層(結構)。該方法在底層數據組件上設置抽象層，使業務用戶可以獲得信息和分析結果，而無需進行重復或強制性的數據科學工作。

隨著企業數據需求的發展，公司正在努力解決企業數據復雜性、異質性以及其分散在企業環境中的多個應用程序和運行環境中的事實。根據Statista的數據，到2024年，全球數據生成和消費量將超過149兆字節，其中非結構化數據將占80%左右。

數據編織被看作是解決企業數據需求發展難題的答案。其改進了數據倉庫(data warehouse)和數據湖(data lake)的舊概念，引入一種架構，使整個企業能夠統一利用數據。因此，Gartner將數據編織列為2019年十大最具影響力的數據和分析技術之一，并表示，到2022年，企業將被迫重新設計其基礎設施，以支持定制的數據編織設計。

下面我們來探討數據編織的主要功能和企業應用，以了解數據編織是如何工作的。

數據編織的主要功能：

(1)數據編織支持非結構化數據，包括物聯網。

企業正在迅速擴大其設備的聯網范圍，已經不限于內部服務器和固定工作站。從自帶設備(BYOD)和WFH到現場傳統的手持設備和物聯網(IoT)，聯網設備的范圍正在擴大。數據編織與所有這些終端連接，處理通過傳感器收集的非結構化數據，并以最小的后端復雜度提供數據分析的結果。

(2)數據編織能大規模地處理信息。

企業數據量在不斷增長，能夠有效調動其數據的組織將獲得競爭優勢。數據驅動的數據分析結果和決策可以推動新的商業機會，改善客戶體驗，并實現更有效的工作方式。數據編織使自動提取和利用原本閑置的數據成為可能。

(3)數據編織能與混合托管環境兼容。

數據編織的關鍵特征之一是它與環境、平臺和工具無關。它可以實現與技術棧中幾乎每個組件的雙向集成，以創建一個交織的或類似結構的架構。這非常適用于多云或混合云企業，在這些企業中，數據計劃需要在所有云中統一、一致地運行。該解決方案從分布在不同環境中的多個來源獲取數據，以創建一個綜合的 "結構 "來生成數據分析結果。

(4)數據編織加速生成數據分析結果。

這些解決方案可以輕松地處理最復雜的數據集，縮短數據分析的時間。由于其架構，有預建的分析模型和認知算法，以規模化和高速度處理數據。例如，美國國家航空航天局與名為Stardog的數據編織供應商合作，將獲得數據分析結果的時間減少90%。

(5)與傳統倉儲模式相比，數據編織需要的IT干預更少。

數據編織的一個重要特征是，它依賴于一套預先建立和預先配置的組件，將原始數據轉換為經過處理和可操作的信息。這些系統通常托管在云端，由經驗豐富的服務提供商管理。這意味著，在實施和維護數據生產計劃時，不需要IT部門的參與。

(6)技術用戶和非技術用戶都使用數據編織。

數據編織的架構使其可適應各種用戶界面。可以構建清晰明了的項目列表，使業務主管可以快速理解和利用這些信息。數據編織還帶有復雜的工具，可以讓數據科學家進行深入的數據探索。

實施數據編織的主要目的是為了加強數據治理和數據安全。我們還可以將解決方案與新的數據源、分析模型、用戶界面和自動化腳本集成，以改善數據的使用。數據編織技術的最新進展意味著我們甚至可以使用圖形模型處理元數據，使其不僅應用于被動資產，還能與業務用戶相關。它的架構允許企業通過擴展增加新的功能、添加安全覆蓋層和執行其他關鍵功能，而不必縮減核心數據庫。

數據編織的關鍵架構組件

數據編織是一個打包的解決方案，利用七個關鍵組件從數據中提取分析數據，并為整個企業通過統一的服務。這些關鍵的架構組件包括：

數據編織的關鍵架構組件

(1)提取數據源：數據源是系統產生的信息，將被數據編織處理、存儲和利用。這些來源可能存在于企業內部，如企業資源規劃(ERP)軟件、客戶關系管理(CRM)軟件或人力資源信息系統(HRIS)。我們可以連接到非結構化的數據源，如支持PDF和屏幕截圖的文件提交系統，以及物聯網傳感器。數據編織還可以從提供公開數據的外部系統中獲取數據，如社交媒體。最后，企業可以購買第三方數據存儲庫來完善內部已有的信息

(2)分析和知識圖譜的處理：數據編織獲取的許多數據是半結構化或非結構化的，包括來源不同的元數據。分析和知識圖系統將所有的數據類型轉換成一致的格式，這樣在處理時就可以沒有任何瓶頸。具體來說，用戶需要能夠查看和理解企業中各種數據源之間的關系。這就是為什么處理分析是數據編織的關鍵架構組件，然后我們才能繼續得到數據分析結果。

(3)獲得數據分析結果的先進算法：對于這個組件，我們可以利用AI/ML算法進行連續數據監控和實時分析結果生成。AI/ML的使用大大縮短了處理時間，并幫助我們更快地得到數據分析結果。數據必須與操作用例(如勞動力優化或特定位置的業務決策)保持一致，以呈現最相關的分析結果。此外，出于安全性和合規性的考慮，所有活動都必須進行記錄。

(4)使用與交付接口連接的API和SDKs：這可能是數據編織中最重要的組成部分，使其有別于傳統的數據湖或倉庫。數據編織在其架構主干中內置了集成接口，可以與任何前端用戶的用戶界面連接，在最需要的地方提供數據分析。為此，它使用應用程序編程接口(API)和軟件開發工具包(SDK)，以及預構建的連接器。理想情況下，它應該有兩個集成模塊——一個是IT專業人員可以用來設置復雜集成的DIY功能，另一個是業務用戶通過自助式商業智能(BI)工具直接從數據編織中獲得的數據分析能力。

(5)數據消費層：數據消費層是指在前端實現數據消費的面向用戶的界面。有幾種方法可以調整這一層，以獲得數據編織投資的最大回報。例如，商業應用內部的嵌入式分析可以幫助用戶在其工作流程的背景下獲取信息。虛擬助手和聊天機器人可以幫助進行自然的數據探索。而且，實時事件列表可以讓運營經理實時了解企業的關鍵事件。數據編織的優勢在于，它可以輕松地支持所有這些需求。

(6)數據傳輸層：傳輸層的功能是幫助數據在結構中移動。一個強大的數據傳輸層不僅能夠在系統之間不受干擾地移動數據，而且還能夠通過端到端加密實現嚴格的安全性。這一層還可以用來保存重復刪除的數據，這樣在移動過程中就不會產生新的副本。它還應該保障由數據編織的不同組件強制執行的壓縮效率，這樣數據更新就不會在運動中發生，從而導致意外的效率低下或安全風險。

(7)托管環境：雖然這個組件在技術上是數據編織架構的外部，但它影響了其核心組件。我們可以選擇在內部或在云上托管數據編織。在后者的情況下，它可能會從基于云的數據管理工具(如Snowflake和容器)中獲益。無論是企業內部的Oracle，企業內部的SAP，還是其他什么，企業內部的數據編織應該與非云IT工具整合。只要與適當的供應商合作，數據編織也很適合多云和混合云環境。

雖然我們生活在一個數據驅動的時代，但花在維持常規任務上的時間過多，而花在增加價值上的時間卻不夠。Gartner在2020年進行了一項名為《數據管理掙扎于平衡創新和控制》(Data Management struggle to Balance Innovation and Control)的調查，發現數據團隊只有22%的時間用于創新。其余的精力都花在維護生產計劃、培訓用戶和其他非增值任務上。數據編織利用上述七個組成部分來調整這種平衡，并通過消除數據管理中的后端瓶頸，釋放頂尖人才。

企業實施和管理數據編織的8大最佳實踐

全球數據編織市場從2020年的11億美元，到2026年將增長超過3倍，達到37億美元(根據全球行業分析師)，表明這一領域的強勁需求。如果想要實現一個數據編織架構來優化企業數據的利用方式，下面提供一些最佳實踐：

數據編織管理最佳實踐

(1)采用DataOps流程模型。

(2)主動避免構建另一個數據湖。

(3)了解規則和監管要求。

(4)部署基于圖形的分析方法來發現相關性。

(5)為大眾開發者構建一個數據市場。

(6)利用開源技術。

(7)支持本地代碼生成。

(8)使數據編織適應邊緣計算。

結 語

隨著數據利用率的提高，“數據孤島”必須逐漸被打破，為互聯企業讓路。數據編織的實現是這一過程中的一個重大飛躍——事實上，這是自20世紀70年代關系數據庫發明以來最具革命性的突破之一。這是因為數據編織不僅僅是一項技術或產品。它指的是架構設計、結構化流程和思維模式轉變，其中數據和業務操作緊密交織在一起。以下是企業必須記住的三個要點：

(1)數據編織可以顯著減少花費在常規的、非增值的數據管理任務上的時間——但它可能需要相當大的初始投資。

(2)一個數據編織有七個關鍵的架構組件，API和SDK層最需要注意的是避免被限制在數據湖的范圍內。

(3)根據定義，數據編織是無限可擴展的，這意味著隨著企業的增長，需要更新和升級體系結構。

數據編織是使每個流程、應用程序和業務決策都以數據驅動的重要因素。選擇合適的供應商，以確保企業未來的成功之路。

參考文獻

[1]https://www.toolbox.com/tech/big-data/articles/what-is-data-fabric/

[2]https://www.toolbox.com/tech/big-data/articles/what-is-data-governance-definition-importance-and-best-practices/

[3]https://www.toolbox.com/tech/big-data/articles/what-is-enterprise-data-management-edm-definition-importance-and-best-practices/

[4]https://www.toolbox.com/tech/big-data/articles/best-data-governance-tools/