?大數據、數據治理、數據湖以及被熱議的數據中臺概念，無不讓企業信息化部門疲于跟進，而不是根據企業的實際情況決定建設節奏。企業A的IT部門，就曾受到“業務部門要求建設數據中臺”的壓力，但遲遲難以下決心啟動數據中臺項目。

從A企業的視角來看，目前，行業內缺少有說服力的數據中臺成功案例，陸續有媒體曝光一些大型企業投入巨大，但是也沒有產生較好的效果，這更是讓A企業IT部門覺得數據中臺可能只有部分大型互聯網企業才能取得非常積極的效果。

經過分析討論，A企業IT部門認為，業務部門并不是一定要需要所謂的“數據中臺”，而是需要一個響應迅速的數據訪問和加工處理服務。那么如何構建一套業務數字化發展所需要的數據服務體系呢？

01傳統數據管控體系的五個挑戰

一年前,該IT部門曾經啟動過業務數據湖集中管理項目，最后以失敗告終。事后復盤，該IT部門認為失敗的主要原因在于兩個方面：1、很多業務部門以各種理由拒絕將主要業務應用系統的數據分享出來，理由千奇百怪；2、IT部門對于建設數據湖后到底能在哪些業務場景如何應用難以給出有說服力的實例。IT部門，包括應用需求管理和開發部門，并不深入了解業務場景，無法提出數據集中的應用場景說服業務部門共享數據。最終，在采購了一堆存儲硬件和軟件后，宣稱所謂的“數據湖”系統上線，但是里面基本上沒有重要的業務數據。近年來，數據的價值越來越被重視，甚至被經濟學家認為是和人、設備、土地、資本一樣的重要生產要素，數據資產被形象比喻為數字時代的“石油”。將數據類比石油，可以發現一些有益的啟示。

石油產業價值鏈已經歷了數百年市場化演進，從原油勘探到成品銷售的價值變現過程，由上游、中游、下游的多個產業環節、數以萬計的公司通過技術、運營、管理、交易等復雜的活動來完成，產業鏈分工明確、相互協作，不是僅靠單一的技術系統來實現，可以說，石油產業價值鏈是具備超強效率與變現能力的最佳實踐參考。

企業內部的數據價值鏈與石油價值鏈具有明顯差距，如下圖所示：

石油/數據價值鏈對照

傳統數據管控體系大多數是建立在技術棧基礎上，業內比較領先的數據管理技術棧如下：

傳統數據管控體系

• 數據源：數據大部分都散落在由不同的（業務）部門、不同的團隊建設和運維的應用系統中。
• 數據湖：通過數據湖、數據倉庫等技術手段，將不同系統中的數據進行集中管理。
• 數據架構治理：通過制定數據架構、數據標準、元數據管理等，降低數據交換的難度。
• 數據中臺：為數據的進一步加工處理提供平臺和通用技術功能支持，提供數據的進一步分類和聚合，屏蔽數據源訪問差異。

從技術上來看，當前的數據技術?？梢暂^好支持數據的獲取和加工，但是任何價值的實現都不是僅靠技術能夠獨立實現，正如同石油資產，沒有良好的管理運營體系支撐，最多只能是開采后保存在倉庫的原料，消耗了技術設施投資，難以變成企業的業務收入，更難于構建一個有良好利潤和現金流的業務模式。

當前基于數據技術棧的企業數據資產管理體系存在著諸多挑戰。比如，難以解決組織豎井壁壘的難題。在企業內部，雖然數據的所有權名義上屬于整個企業，但是執行上，數據的開放和共享會遇到應用系統管理團隊和業務部門的隱形障礙，數據需求部門往往最終很難及時拿到自己想要的數據，最后不了了之。最終，數據中臺也好、數據湖也好，都只是搭建了一個技術系統，但缺乏高價值數據的導入和輸出。

即使能夠解決數據的共享和輸出問題，“鐵路警察——各管一段”（這可能是數據管理實踐中的另外一種真實寫照），沒有人對數據整個處理流程負有責任，數據處理過程不能有效銜接，質量和時效性難以保證，出了問題回溯分析也非常困難。

過去數據僅限于單個業務或職能小范圍使用，如今多數據的聯合分析需求已經擴展到企業的各個層面，低劣的數據質量危害將放大到整個企業。但技術團隊沒有被賦予端到端質量管理的職能，很多時候也沒有能力和意愿進行管理。

傳統數據管控體系還缺乏支持數據高效流動和處理編排的工具。這個工具與目前熱議的“數據中臺”不同。目前數據中臺是一個十分混亂的概念和實踐，其目的是希望將企業所有數據進行跨部門、跨業務、跨系統的集中，建立數據主題庫，對數據進行加工分析，因此數據中臺只是被動解決數據集中問題，沒有將數據的共享和交換作為一個基礎平臺來開發和實現，其結果是在數據流動層面還是基于個體的、定制的開發。

目前的數據技術棧，對于構建統一的數據流動管道和處理流水線，普遍還缺乏重視和實現；很多實踐還停留在基于腳本、基于定時、基于手工的管理模式，沒有實現數據的管道化高效流動和流水線化編排處理的架構和管理模式，效率低、風險大，難以支持數據的及時變現，支持業務運營和創新要求。

而石油產業為了提升整個產業鏈的效率，一個最重要的方法就是搭建跨公司、跨地域（甚至是全球性的）石油管道網絡。

02從三個層面優化

如果企業希望數據資產價值能夠快速高效地變現，需要改變傳統的技術管治導向，轉變為構建“面向價值變現的數據資產管治體系”，最重要的是從組織體系和管理體系上進行優化改善，才能達到事半功倍的成效。

如下圖所示，面向價值變現的數據資產管治體系包括以下幾個部分：

面向價值變現的數據資產管治體系

具體來說，從以下三個層面入手進行優化。

1、組織結構層面：設立獨立的數據管治與服務團隊，或者將職責賦予現有合適團隊

團隊應承擔以下職責：

• 對企業所有系統的數據擁有管治權利。
• 數據價值管理：面向企業戰略和業務經營，發掘具備重大價值的企業數據需求，整合后臺數據資源和技術資源提供數據服務，為數據實現最大化價值的目標進行日常活動。
• 數據服務運營：通過運營的方式對外輸出有價值的數據服務，具體見下文（服務運營層面）。
• 數據質量管理：通過數據架構治理和數據質量查驗等對數據的整個生命周期的質量通過設定標準、安插質量檢測點、質量考核等在數據投入產出比的約束下管理數據質量。
• 數據共享管理：具備組織權利和執行智慧，打破數據的組織壁壘、系統壁壘，推動數據在企業范圍內的無障礙流動和利用。

以A企業來說，在結合眾多案例介紹和自己企業的實際情況，他們最終決定采取務實的原則，將IT部門定位為服務中介和技術支持角色，接受自己不懂業務的現狀，不介入數據應用的具體業務場景，數據的跨部門共享和溝通留給業務部門處理，業務的應用場景和數據價值變現由具有前瞻意識的業務部門識別和評估。

2、服務運營層面：為企業的利益相關者按照服務輸出的方式進行日常運營

包括：

• 數據服務管理：提供數據服務的服務目錄和服務處理流程，定義SLA，決定數據需求的正當性，提供友好的服務界面和用戶支持體系，自動化服務交付，解決服務中的故障、咨詢、問題，保證服務的可用性和用戶體驗。
• 數據運營管理：利用營銷方法，宣傳和推廣數據服務，建立用戶價值樣板，不斷提升數據質量、服務質量、價值實現、影響能力，甚至市場吸引力和競爭力。

3、技術平臺層面：在參考先進技術棧進行構建和完善的同時，增加以下功能和特性

• 數據服務目錄：提供數據服務目錄的管理、用戶訪問和服務交付對接。
• 數據消費場景：提供對重要數據消費場景的實現支持和試點支持。
• 數據流動管道和處理編排流水線：提供企業范圍內統一的數據流動管理、數據編排管理、豐富數據接口支持、Devops模式支持、數據活動備案審計、數據流動安全管理等。
• 數據服務即代碼（Data Service as Code）：平臺服務和模塊都提供API接口，能夠被其他系統通過代碼調用獲取數據結果和數據處理編排等，嵌入到消費場景中，而不是依賴手工管理和系統操作實現。

以A企業為例，通過應用開發和運維團隊的梳理，從技術層面匯總企業內部已有的數據，建立數據目錄，包括數據的內容、數據的起止時間、存在于哪個系統、歸屬哪個業務部門等。

最終建設了企業級統一的數據管道和處理流水線編排開發平臺，為各個系統的數據共享和連接建設技術平臺和通路，降低數據共享和流動的難度。

利用數據管道和編排開發平臺，在業務部門協調好跨部門的數據共享后，IT部門可以快速幫助業務部門實現數據應用場景，培訓業務部門數據的分析能力，做好服務支持。

在個別部門通過數據成功獲得了業務價值后，IT部門積極支持業務部門的案例效果總結與宣傳，在企業內部進行有效的宣傳。

通過這種方式， A企業的IT部門逐步獲得了業務部門的支持，使數據的部門壁壘逐漸消融，越來越多的業務部門愿意開放數據，并利用其它部門的數據進行數據資產的挖掘。

03數據流動管道與處理編排流水線

新體系的核心：數據流動管道與處理編排流水線

石油產業的公共基礎設施之一是管道網絡（Oil Pipelines），為油品在跨地域、跨企業、跨產業內不同價值環節提供了高效、低成本、安全可控的轉移手段。

同樣的，對于數據資產而言，數據管道網絡和編排流水線（Data Pipelines，以下簡稱數據流水線）也是數據管治體系的核心基礎設施之一。  

企業可以采購目前市場上相對成熟的數據流水線產品；具有技術研發實力的企業，也可以自行開發此類平臺。

數據流水線應該具有以下主要功能：

1、豐富的數據集成接口：能夠對已知的公共協議、系統私有接口等進行連接，包括但不限于：各種關系數據庫、nonSQL數據庫、數據倉庫與挖掘系統、數據集成與ETL工具（如Informatica、DataStage、SSIS）、ERP系統（如SAP、Oracle、Peoplesoft）、大數據平臺（Hadoop各種變種、Spark等流式系統變種）、操作系統與文件系統等。

2、強大的數據處理編排能力：數據處理分析的流程越來越長，對時效性要求越來越高，傳統基于定時觸發、基于單個操作系統、基于零散腳本連接處理過程的方式無法應對。統一的數據處理編排平臺能夠對跨系統、跨平臺的數據處理過程進行任務編排，提供基于腳本關聯關系建模、基于多種觸發模式（事件、返回結果、依賴關系、定制邏輯等）等功能支持，能夠動態向不同系統上分發處理任務，能夠預測處理。

3、支持數據處理的開發過程Devops化：為數據開發團隊以及Devops團隊提供開發、測試、發布、運維的一體化集成平臺，不需要額外的工具完成從數據過程定義、測試、發布到生產環境、變更管理和故障處理的全過程，避免了傳統模式下開發人員與運維人員在數據處理相關應用和任務上摩擦和低效。

4、DataJob As Code數據處理即代碼：提供代碼接口，開發人員、運維人員不需要手工配置系統，通過代碼直接動態生成和管理數據處理任務。

5、數據安全保護與審計：通過管理手段和技術手段禁止非流水線平臺對數據的遷移和訪問后，流水線提供數據傳輸過程的安全保證（加密傳輸），并對流動操作都有留檔備查（時間、數據訪問賬戶、數據流動起始位置、數據內容、數據去向等），為后續安全管理和合規管理提供支持。

6、多云環境支持：流水線為企業多云環境提供統一的數據管理，支持公有云（如AWS、Azure、Google Cloud、Ali Cloud等的基礎設施、數據服務與接口）、私有云（如Openstack、Kubernets、VMware等），以及PaaS、SaaS等。

7、可視化支持：傳統基于腳本的數據處理難以直觀的了解當前的數據處理進度與狀態，日志跟蹤就是一場災難。流水線平臺應該提供數據處理任務的依賴關系模型、處理進度與狀態、預計時間、故障依賴根源分析與影響分析等圖形化展示，任何有權限的人員通過各種平臺和設備實時了解相關信息，而不必由系統管理員查看和報告。

以A企業為例，他們將數據處理流水線開發和運維平臺作為當前階段實現數據服務體系的技術核心之一。

在新的數據管治服務體系初步建立之后，他們還制定了相關績效考核指標（KPI）用來跟蹤數據資產的價值：

1）數據服務目錄對企業已有數據的覆蓋比；

2）數據服務新需求從開發到上線的天數；

3）數據服務目錄新請求數；

4）每天數據處理作業數；

5）數據流水線平臺的可用性。

下一步IT部門準備進一步加強企業數據管道和處理平臺，逐步加強數據治理，特別在元數據梳理和數據質量方面提升，并進一步加強數據服務的運營能力和服務能力。

數據資產價值變現，如同企業的業務運營，是一個永續不斷的過程。始終圍繞價值變現目標，通過組織管理和數據治理體系，而不是僅僅著眼于技術平臺的構建與維護，將是企業數據資產管理成功的不二法門。