大數(shù)據(jù)、數(shù)據(jù)治理、數(shù)據(jù)湖以及目前被熱議的數(shù)據(jù)中臺概念，無不讓企業(yè)信息化部門疲于跟進，而不是根據(jù)企業(yè)的實際情況決定建設(shè)節(jié)奏。企業(yè)A的IT部門，就曾受到“業(yè)務(wù)部門要求建設(shè)數(shù)據(jù)中臺”的壓力，但遲遲難以下決心啟動數(shù)據(jù)中臺項目。

從A企業(yè)的視角來看，目前，行業(yè)內(nèi)缺少有說服力的數(shù)據(jù)中臺成功案例，陸續(xù)有媒體曝光一些大型企業(yè)投入巨大，但是也沒有產(chǎn)生較好的效果，這更是讓A企業(yè)IT部門覺得數(shù)據(jù)中臺可能只有部分大型互聯(lián)網(wǎng)企業(yè)才能取得非常積極的效果。

經(jīng)過分析討論，A企業(yè)IT部門認(rèn)為，業(yè)務(wù)部門并不是一定要需要所謂的“數(shù)據(jù)中臺”，而是需要一個響應(yīng)迅速的數(shù)據(jù)訪問和加工處理服務(wù)。那么如何構(gòu)建一套業(yè)務(wù)數(shù)字化發(fā)展所需要的數(shù)據(jù)服務(wù)體系呢?

01 傳統(tǒng)數(shù)據(jù)管控體系的五個挑戰(zhàn)

一年前,該IT部門曾經(jīng)啟動過業(yè)務(wù)數(shù)據(jù)湖集中管理項目，最后以失敗告終。事后復(fù)盤，該IT部門認(rèn)為失敗的主要原因在于兩個方面：

• 很多業(yè)務(wù)部門以各種理由拒絕將主要業(yè)務(wù)應(yīng)用系統(tǒng)的數(shù)據(jù)分享出來，理由千奇百怪;
• IT部門對于建設(shè)數(shù)據(jù)湖后到底能在哪些業(yè)務(wù)場景如何應(yīng)用難以給出有說服力的實例。IT部門，包括應(yīng)用需求管理和開發(fā)部門，并不深入了解業(yè)務(wù)場景，無法提出數(shù)據(jù)集中的應(yīng)用場景說服業(yè)務(wù)部門共享數(shù)據(jù)。

最終，在采購了一堆存儲硬件和軟件后，宣稱所謂的“數(shù)據(jù)湖”系統(tǒng)上線，但是里面基本上沒有重要的業(yè)務(wù)數(shù)據(jù)。

近年來，數(shù)據(jù)的價值越來越被重視，甚至被經(jīng)濟學(xué)家認(rèn)為是和人、設(shè)備、土地、資本一樣的重要生產(chǎn)要素，數(shù)據(jù)資產(chǎn)被形象比喻為數(shù)字時代的“石油”。將數(shù)據(jù)類比石油，可以發(fā)現(xiàn)一些有益的啟示。

石油產(chǎn)業(yè)價值鏈已經(jīng)歷了數(shù)百年市場化演進，從原油勘探到成品銷售的價值變現(xiàn)過程，由上游、中游、下游的多個產(chǎn)業(yè)環(huán)節(jié)、數(shù)以萬計的公司通過技術(shù)、運營、管理、交易等復(fù)雜的活動來完成，產(chǎn)業(yè)鏈分工明確、相互協(xié)作，不是僅靠單一的技術(shù)系統(tǒng)來實現(xiàn)，可以說，石油產(chǎn)業(yè)價值鏈?zhǔn)蔷邆涑瑥娦逝c變現(xiàn)能力的最佳實踐參考。

企業(yè)內(nèi)部的數(shù)據(jù)價值鏈與石油價值鏈具有明顯差距，如下圖所示：

石油/數(shù)據(jù)價值鏈對照

傳統(tǒng)數(shù)據(jù)管控體系大多數(shù)是建立在技術(shù)棧基礎(chǔ)上，業(yè)內(nèi)比較領(lǐng)先的數(shù)據(jù)管理技術(shù)棧如下：

數(shù)據(jù)源：數(shù)據(jù)大部分都散落在由不同的(業(yè)務(wù))部門、不同的團隊建設(shè)和運維的應(yīng)用系統(tǒng)中。

數(shù)據(jù)湖：通過數(shù)據(jù)湖、數(shù)據(jù)倉庫等技術(shù)手段，將不同系統(tǒng)中的數(shù)據(jù)進行集中管理。

數(shù)據(jù)架構(gòu)治理：通過制定數(shù)據(jù)架構(gòu)、數(shù)據(jù)標(biāo)準(zhǔn)、元數(shù)據(jù)管理等，降低數(shù)據(jù)交換的難度。

數(shù)據(jù)中臺：為數(shù)據(jù)的進一步加工處理提供平臺和通用技術(shù)功能支持，提供數(shù)據(jù)的進一步分類和聚合，屏蔽數(shù)據(jù)源訪問差異。

從技術(shù)上來看，當(dāng)前的數(shù)據(jù)技術(shù)棧可以較好支持?jǐn)?shù)據(jù)的獲取和加工，但是任何價值的實現(xiàn)都不是僅靠技術(shù)能夠獨立實現(xiàn)，正如同石油資產(chǎn)，沒有良好的管理運營體系支撐，最多只能是開采后保存在倉庫的原料，消耗了技術(shù)設(shè)施投資，難以變成企業(yè)的業(yè)務(wù)收入，更難于構(gòu)建一個有良好利潤和現(xiàn)金流的業(yè)務(wù)模式。

當(dāng)前基于數(shù)據(jù)技術(shù)棧的企業(yè)數(shù)據(jù)資產(chǎn)管理體系存在著諸多挑戰(zhàn)。比如，難以解決組織豎井壁壘的難題。在企業(yè)內(nèi)部，雖然數(shù)據(jù)的所有權(quán)名義上屬于整個企業(yè)，但是執(zhí)行上，數(shù)據(jù)的開放和共享會遇到應(yīng)用系統(tǒng)管理團隊和業(yè)務(wù)部門的隱形障礙，數(shù)據(jù)需求部門往往最終很難及時拿到自己想要的數(shù)據(jù)，最后不了了之。最終，數(shù)據(jù)中臺也好、數(shù)據(jù)湖也好，都只是搭建了一個技術(shù)系統(tǒng)，但缺乏高價值數(shù)據(jù)的導(dǎo)入和輸出。

即使能夠解決數(shù)據(jù)的共享和輸出問題，“鐵路警察——各管一段”(這可能是數(shù)據(jù)管理實踐中的另外一種真實寫照)，沒有人對數(shù)據(jù)整個處理流程負(fù)有責(zé)任，數(shù)據(jù)處理過程不能有效銜接，質(zhì)量和時效性難以保證，出了問題回溯分析也非常困難。

過去數(shù)據(jù)僅限于單個業(yè)務(wù)或職能小范圍使用，如今多數(shù)據(jù)的聯(lián)合分析需求已經(jīng)擴展到企業(yè)的各個層面，低劣的數(shù)據(jù)質(zhì)量危害將放大到整個企業(yè)。但技術(shù)團隊沒有被賦予端到端質(zhì)量管理的職能，很多時候也沒有能力和意愿進行管理。

傳統(tǒng)數(shù)據(jù)管控體系還缺乏支持?jǐn)?shù)據(jù)高效流動和處理編排的工具。這個工具與目前熱議的“數(shù)據(jù)中臺”不同。目前數(shù)據(jù)中臺是一個十分混亂的概念和實踐，其目的是希望將企業(yè)所有數(shù)據(jù)進行跨部門、跨業(yè)務(wù)、跨系統(tǒng)的集中，建立數(shù)據(jù)主題庫，對數(shù)據(jù)進行加工分析，因此數(shù)據(jù)中臺只是被動解決數(shù)據(jù)集中問題，沒有將數(shù)據(jù)的共享和交換作為一個基礎(chǔ)平臺來開發(fā)和實現(xiàn)，其結(jié)果是在數(shù)據(jù)流動層面還是基于個體的、定制的開發(fā)。

目前的數(shù)據(jù)技術(shù)棧，對于構(gòu)建統(tǒng)一的數(shù)據(jù)流動管道和處理流水線，普遍還缺乏重視和實現(xiàn);很多實踐還停留在基于腳本、基于定時、基于手工的管理模式，沒有實現(xiàn)數(shù)據(jù)的管道化高效流動和流水線化編排處理的架構(gòu)和管理模式，效率低、風(fēng)險大，難以支持?jǐn)?shù)據(jù)的及時變現(xiàn)，支持業(yè)務(wù)運營和創(chuàng)新要求。

而石油產(chǎn)業(yè)為了提升整個產(chǎn)業(yè)鏈的效率，一個最重要的方法就是搭建跨公司、跨地域(甚至是全球性的)石油管道網(wǎng)絡(luò)。

02 從三個層面優(yōu)化

如果企業(yè)希望數(shù)據(jù)資產(chǎn)價值能夠快速高效地變現(xiàn)，需要改變傳統(tǒng)的技術(shù)管治導(dǎo)向，轉(zhuǎn)變?yōu)闃?gòu)建“面向價值變現(xiàn)的數(shù)據(jù)資產(chǎn)管治體系”，最重要的是從組織體系和管理體系上進行優(yōu)化改善，才能達到事半功倍的成效。

如下圖所示，面向價值變現(xiàn)的數(shù)據(jù)資產(chǎn)管治體系包括以下幾個部分：

面向價值變現(xiàn)的數(shù)據(jù)資產(chǎn)管治體系

具體來說，從以下三個層面入手進行優(yōu)化。

1、組織結(jié)構(gòu)層面：設(shè)立獨立的數(shù)據(jù)管治與服務(wù)團隊，或者將職責(zé)賦予現(xiàn)有合適團隊

團隊?wèi)?yīng)承擔(dān)以下職責(zé)：

對企業(yè)所有系統(tǒng)的數(shù)據(jù)擁有管治權(quán)利。

數(shù)據(jù)價值管理：面向企業(yè)戰(zhàn)略和業(yè)務(wù)經(jīng)營，發(fā)掘具備重大價值的企業(yè)數(shù)據(jù)需求，整合后臺數(shù)據(jù)資源和技術(shù)資源提供數(shù)據(jù)服務(wù)，為數(shù)據(jù)實現(xiàn)最大化價值的目標(biāo)進行日常活動。

數(shù)據(jù)服務(wù)運營：通過運營的方式對外輸出有價值的數(shù)據(jù)服務(wù)，具體見下文(服務(wù)運營層面)。

數(shù)據(jù)質(zhì)量管理：通過數(shù)據(jù)架構(gòu)治理和數(shù)據(jù)質(zhì)量查驗等對數(shù)據(jù)的整個生命周期的質(zhì)量通過設(shè)定標(biāo)準(zhǔn)、安插質(zhì)量檢測點、質(zhì)量考核等在數(shù)據(jù)投入產(chǎn)出比的約束下管理數(shù)據(jù)質(zhì)量。

數(shù)據(jù)共享管理：具備組織權(quán)利和執(zhí)行智慧，打破數(shù)據(jù)的組織壁壘、系統(tǒng)壁壘，推動數(shù)據(jù)在企業(yè)范圍內(nèi)的無障礙流動和利用。

以A企業(yè)來說，在結(jié)合眾多案例介紹和自己企業(yè)的實際情況，他們最終決定采取務(wù)實的原則，將IT部門定位為服務(wù)中介和技術(shù)支持角色，接受自己不懂業(yè)務(wù)的現(xiàn)狀，不介入數(shù)據(jù)應(yīng)用的具體業(yè)務(wù)場景，數(shù)據(jù)的跨部門共享和溝通留給業(yè)務(wù)部門處理，業(yè)務(wù)的應(yīng)用場景和數(shù)據(jù)價值變現(xiàn)由具有前瞻意識的業(yè)務(wù)部門識別和評估。

2、服務(wù)運營層面：為企業(yè)的利益相關(guān)者按照服務(wù)輸出的方式進行日常運營

包括：

數(shù)據(jù)服務(wù)管理：提供數(shù)據(jù)服務(wù)的服務(wù)目錄和服務(wù)處理流程，定義SLA，決定數(shù)據(jù)需求的正當(dāng)性，提供友好的服務(wù)界面和用戶支持體系，自動化服務(wù)交付，解決服務(wù)中的故障、咨詢、問題，保證服務(wù)的可用性和用戶體驗。

數(shù)據(jù)運營管理：利用營銷方法，宣傳和推廣數(shù)據(jù)服務(wù)，建立用戶價值樣板，不斷提升數(shù)據(jù)質(zhì)量、服務(wù)質(zhì)量、價值實現(xiàn)、影響能力，甚至市場吸引力和競爭力。

3、技術(shù)平臺層面：在參考先進技術(shù)棧進行構(gòu)建和完善的同時，增加以下功能和特性

數(shù)據(jù)服務(wù)目錄：提供數(shù)據(jù)服務(wù)目錄的管理、用戶訪問和服務(wù)交付對接。

數(shù)據(jù)消費場景：提供對重要數(shù)據(jù)消費場景的實現(xiàn)支持和試點支持。

數(shù)據(jù)流動管道和處理編排流水線：提供企業(yè)范圍內(nèi)統(tǒng)一的數(shù)據(jù)流動管理、數(shù)據(jù)編排管理、豐富數(shù)據(jù)接口支持、Devops模式支持、數(shù)據(jù)活動備案審計、數(shù)據(jù)流動安全管理等。

數(shù)據(jù)服務(wù)即代碼(Data Service as Code)：平臺服務(wù)和模塊都提供API接口，能夠被其他系統(tǒng)通過代碼調(diào)用獲取數(shù)據(jù)結(jié)果和數(shù)據(jù)處理編排等，嵌入到消費場景中，而不是依賴手工管理和系統(tǒng)操作實現(xiàn)。

以A企業(yè)為例，通過應(yīng)用開發(fā)和運維團隊的梳理，從技術(shù)層面匯總企業(yè)內(nèi)部已有的數(shù)據(jù)，建立數(shù)據(jù)目錄，包括數(shù)據(jù)的內(nèi)容、數(shù)據(jù)的起止時間、存在于哪個系統(tǒng)、歸屬哪個業(yè)務(wù)部門等。

最終建設(shè)了企業(yè)級統(tǒng)一的數(shù)據(jù)管道和處理流水線編排開發(fā)平臺，為各個系統(tǒng)的數(shù)據(jù)共享和連接建設(shè)技術(shù)平臺和通路，降低數(shù)據(jù)共享和流動的難度。

利用數(shù)據(jù)管道和編排開發(fā)平臺，在業(yè)務(wù)部門協(xié)調(diào)好跨部門的數(shù)據(jù)共享后，IT部門可以快速幫助業(yè)務(wù)部門實現(xiàn)數(shù)據(jù)應(yīng)用場景，培訓(xùn)業(yè)務(wù)部門數(shù)據(jù)的分析能力，做好服務(wù)支持。

在個別部門通過數(shù)據(jù)成功獲得了業(yè)務(wù)價值后，IT部門積極支持業(yè)務(wù)部門的案例效果總結(jié)與宣傳，在企業(yè)內(nèi)部進行有效的宣傳。

通過這種方式， A企業(yè)的IT部門逐步獲得了業(yè)務(wù)部門的支持，使數(shù)據(jù)的部門壁壘逐漸消融，越來越多的業(yè)務(wù)部門愿意開放數(shù)據(jù)，并利用其它部門的數(shù)據(jù)進行數(shù)據(jù)資產(chǎn)的挖掘。

03 新體系的核心：數(shù)據(jù)流動管道與處理編排流水線

石油產(chǎn)業(yè)的公共基礎(chǔ)設(shè)施之一是管道網(wǎng)絡(luò)(Oil Pipelines)，為油品在跨地域、跨企業(yè)、跨產(chǎn)業(yè)內(nèi)不同價值環(huán)節(jié)提供了高效、低成本、安全可控的轉(zhuǎn)移手段。

同樣的，對于數(shù)據(jù)資產(chǎn)而言，數(shù)據(jù)管道網(wǎng)絡(luò)和編排流水線(Data Pipelines，以下簡稱數(shù)據(jù)流水線)也是數(shù)據(jù)管治體系的核心基礎(chǔ)設(shè)施之一。

企業(yè)可以采購目前市場上相對成熟的數(shù)據(jù)流水線產(chǎn)品;具有技術(shù)研發(fā)實力的企業(yè)，也可以自行開發(fā)此類平臺。

數(shù)據(jù)流水線應(yīng)該具有以下主要功能：

1、豐富的數(shù)據(jù)集成接口：能夠?qū)σ阎墓矃f(xié)議、系統(tǒng)私有接口等進行連接，包括但不限于：各種關(guān)系數(shù)據(jù)庫、nonSQL數(shù)據(jù)庫、數(shù)據(jù)倉庫與挖掘系統(tǒng)、數(shù)據(jù)集成與ETL工具(如Informatica、DataStage、SSIS)、ERP系統(tǒng)(如SAP、Oracle、Peoplesoft)、大數(shù)據(jù)平臺(Hadoop各種變種、Spark等流式系統(tǒng)變種)、操作系統(tǒng)與文件系統(tǒng)等。

2、強大的數(shù)據(jù)處理編排能力：數(shù)據(jù)處理分析的流程越來越長，對時效性要求越來越高，傳統(tǒng)基于定時觸發(fā)、基于單個操作系統(tǒng)、基于零散腳本連接處理過程的方式無法應(yīng)對。統(tǒng)一的數(shù)據(jù)處理編排平臺能夠?qū)缦到y(tǒng)、跨平臺的數(shù)據(jù)處理過程進行任務(wù)編排，提供基于腳本關(guān)聯(lián)關(guān)系建模、基于多種觸發(fā)模式(事件、返回結(jié)果、依賴關(guān)系、定制邏輯等)等功能支持，能夠動態(tài)向不同系統(tǒng)上分發(fā)處理任務(wù)，能夠預(yù)測處理。

3、支持?jǐn)?shù)據(jù)處理的開發(fā)過程Devops化：為數(shù)據(jù)開發(fā)團隊以及Devops團隊提供開發(fā)、測試、發(fā)布、運維的一體化集成平臺，不需要額外的工具完成從數(shù)據(jù)過程定義、測試、發(fā)布到生產(chǎn)環(huán)境、變更管理和故障處理的全過程，避免了傳統(tǒng)模式下開發(fā)人員與運維人員在數(shù)據(jù)處理相關(guān)應(yīng)用和任務(wù)上摩擦和低效。

4、 DataJob As Code數(shù)據(jù)處理即代碼：提供代碼接口，開發(fā)人員、運維人員不需要手工配置系統(tǒng)，通過代碼直接動態(tài)生成和管理數(shù)據(jù)處理任務(wù)。

5、數(shù)據(jù)安全保護與審計：通過管理手段和技術(shù)手段禁止非流水線平臺對數(shù)據(jù)的遷移和訪問后，流水線提供數(shù)據(jù)傳輸過程的安全保證(加密傳輸)，并對流動操作都有留檔備查(時間、數(shù)據(jù)訪問賬戶、數(shù)據(jù)流動起始位置、數(shù)據(jù)內(nèi)容、數(shù)據(jù)去向等)，為后續(xù)安全管理和合規(guī)管理提供支持。

6、 多云環(huán)境支持：流水線為企業(yè)多云環(huán)境提供統(tǒng)一的數(shù)據(jù)管理，支持公有云(如AWS、Azure、Google Cloud、Ali Cloud等的基礎(chǔ)設(shè)施、數(shù)據(jù)服務(wù)與接口)、私有云(如Openstack、Kubernets、VMware等)，以及PaaS、SaaS等。

7、可視化支持：傳統(tǒng)基于腳本的數(shù)據(jù)處理難以直觀的了解當(dāng)前的數(shù)據(jù)處理進度與狀態(tài)，日志跟蹤就是一場災(zāi)難。流水線平臺應(yīng)該提供數(shù)據(jù)處理任務(wù)的依賴關(guān)系模型、處理進度與狀態(tài)、預(yù)計時間、故障依賴根源分析與影響分析等圖形化展示，任何有權(quán)限的人員通過各種平臺和設(shè)備實時了解相關(guān)信息，而不必由系統(tǒng)管理員查看和報告。

以A企業(yè)為例，他們將數(shù)據(jù)處理流水線開發(fā)和運維平臺作為當(dāng)前階段實現(xiàn)數(shù)據(jù)服務(wù)體系的技術(shù)核心之一。

在新的數(shù)據(jù)管治服務(wù)體系初步建立之后，他們還制定了相關(guān)績效考核指標(biāo)(KPI)用來跟蹤數(shù)據(jù)資產(chǎn)的價值：

• 數(shù)據(jù)服務(wù)目錄對企業(yè)已有數(shù)據(jù)的覆蓋比;
• 數(shù)據(jù)服務(wù)新需求從開發(fā)到上線的天數(shù);
• 數(shù)據(jù)服務(wù)目錄新請求數(shù);
• 每天數(shù)據(jù)處理作業(yè)數(shù);
• 數(shù)據(jù)流水線平臺的可用性。

下一步IT部門準(zhǔn)備進一步加強企業(yè)數(shù)據(jù)管道和處理平臺，逐步加強數(shù)據(jù)治理，特別在元數(shù)據(jù)梳理和數(shù)據(jù)質(zhì)量方面提升，并進一步加強數(shù)據(jù)服務(wù)的運營能力和服務(wù)能力。

數(shù)據(jù)資產(chǎn)價值變現(xiàn)，如同企業(yè)的業(yè)務(wù)運營，是一個永續(xù)不斷的過程。始終圍繞價值變現(xiàn)目標(biāo)，通過組織管理和數(shù)據(jù)治理體系，而不是僅僅著眼于技術(shù)平臺的構(gòu)建與維護，將是企業(yè)數(shù)據(jù)資產(chǎn)管理成功的不二法門。