精品欧美一区二区三区在线观看 _久久久久国色av免费观看性色_国产精品久久在线观看_亚洲第一综合网站_91精品又粗又猛又爽_小泽玛利亚一区二区免费_91亚洲精品国偷拍自产在线观看 _久久精品视频在线播放_美女精品久久久_欧美日韩国产成人在线

美團:踩雷好幾年,才總結(jié)出的數(shù)據(jù)治理避坑攻略

大數(shù)據(jù) 新聞
經(jīng)過在數(shù)據(jù)治理體系化建設(shè)上的持續(xù)思考與實踐,我們的體系化框架基本建立,在數(shù)據(jù)治理的標(biāo)準(zhǔn)化、數(shù)字化和系統(tǒng)化三個方向上取得了較大的進展,并且在業(yè)務(wù)應(yīng)用上取得了一定的成績。

一、序言

美團住宿數(shù)據(jù)治理團隊通過多年數(shù)倉建設(shè)及數(shù)據(jù)治理的經(jīng)驗沉淀,并結(jié)合業(yè)務(wù)發(fā)展階段對于數(shù)據(jù)治理的訴求,將治理的思路逐步從專項、表象、問題驅(qū)動的治理,轉(zhuǎn)變?yōu)樽詣踊Ⅲw系化的治理,并從標(biāo)準(zhǔn)化、數(shù)字化、系統(tǒng)化三個方向進行了落地與實踐。

二、背景介紹

美團住宿業(yè)務(wù)從2014年上線之后發(fā)展多年,歷經(jīng)探索期、進攻期,發(fā)展期,并逐步由發(fā)展期向變革期過渡。業(yè)務(wù)從之前的快速擴張階段進入相對穩(wěn)定的發(fā)展階段,運營手段轉(zhuǎn)變?yōu)榫毣\營,同時對數(shù)據(jù)的成本、效率、安全、價值等方向的要求也越來越高,這些都對數(shù)據(jù)治理提出了新的要求。

圖片

圖1 住宿業(yè)務(wù)發(fā)展階段

另一方面,住宿數(shù)據(jù)組所屬的數(shù)據(jù)中心內(nèi)部有住宿、門票度假等多條業(yè)務(wù)線,各業(yè)務(wù)線業(yè)務(wù)模式不同,所處業(yè)務(wù)生命周期階段不同,在數(shù)據(jù)治理上的認(rèn)知及經(jīng)驗積累也不同。如何能將數(shù)據(jù)治理經(jīng)驗及能力高效復(fù)用,使數(shù)據(jù)中心各業(yè)務(wù)線在數(shù)據(jù)治理的效率和效果上都能穩(wěn)步提升,避免踩坑,這就需要數(shù)據(jù)治理更加標(biāo)準(zhǔn)化、體系化、自動化。

此前,我們在數(shù)據(jù)治理上已經(jīng)有了一些積累和沉淀,前一階段主要從單點、被動的治理轉(zhuǎn)變?yōu)橹鲃印m椀闹卫恚卫韯幼饔幸庾R、有規(guī)劃,也有一定的針對性,且取得了一定的成果,但總的來說仍以問題驅(qū)動治理、憑經(jīng)驗治理為主。面對新的數(shù)據(jù)治理責(zé)任及要求,過往的方式存在著一些問題,主要包括以下幾個方面。

1.治理認(rèn)知差異大

認(rèn)知不一致,思路不統(tǒng)一:治理缺乏通用的體系指引,不同的治理人對于數(shù)據(jù)治理的認(rèn)知深度、問題拆解的方式、治理的思路步驟、采取的方法及其效果追蹤等方面,都存在較大的差異。

  • 重復(fù)治理、信息不通:治理不徹底、治理經(jīng)驗缺乏沉淀,同樣的治理,不同的人反復(fù)實行。
  • 范圍交叉、邊界不清、效果難評估:不同的人針對不同的問題成立不同的專項進行治理,問題的底層邏輯有交叉。有的治理沒做什么動作,反而收到了較好的結(jié)果,有的治理對于結(jié)果說不清。

2.治理方法不標(biāo)準(zhǔn)

  • 流程規(guī)范缺失:對于每個方向、每類問題的治理缺少理論指導(dǎo),治理的方法、動作、流程、步驟依賴治理人的經(jīng)驗和判斷。
  • 問題難度量追蹤:治理的問題缺少衡量標(biāo)準(zhǔn),更多靠人為來進行判斷,治理效果缺少評估體系。
  • 解決方案難落地:解決方案存在于文檔中,需要治理人查找理解,缺少工具支撐,成本較高。

3.治理效率低、效果差

  • 治理線上化程度低:治理依賴的資產(chǎn)信息、治理動作都分散于多個系統(tǒng)中,信息碎片化,執(zhí)行效率低。
  • 過程無法標(biāo)準(zhǔn)化,結(jié)果無保障:治理過程需要治理人來“人為保障”,存在理解偏差和執(zhí)行偏差。

4.數(shù)據(jù)管治缺乏體系化

  • 缺乏整體頂層治理方案設(shè)計:業(yè)務(wù)及數(shù)據(jù)中心對于數(shù)據(jù)治理的要求,需要治理更全面、更精細、更有效,需要治理的體系化,需要從宏觀角度進行思考,層層拆解,需要從整體、從頂層來做方案設(shè)計。
  • 問題越來越復(fù)雜,單點難解決:過往更多的是從表象去解決問題,從表面來看衡量指標(biāo)有改善,實際是“頭痛醫(yī)頭、腳痛醫(yī)腳”,并沒有從根本上解決問題。或者多個問題具有共性,根本問題是一致的。比如查詢資源緊張的根本,可能是分析主題模型建設(shè)不足或運營不夠。
  • 不同問題的優(yōu)先級無法確定:不同問題的優(yōu)先級缺乏衡量標(biāo)準(zhǔn)和方法,主要靠人為判斷。
  • 治理不符合MECE原則:每個治理方向由哪些問題組成,哪些最重要,哪些的ROI最高,哪些問題和治理動作可以合并,同一問題在數(shù)倉不同主題、不同分層的衡量標(biāo)準(zhǔn)和治理方法應(yīng)該有哪些差異,都需要在體系化治理中進行考慮。

三、治理體系化思考

從上述背景中不難看出,我們面臨著不同業(yè)務(wù)生命周期階段對數(shù)據(jù)建設(shè)和治理不同的要求及挑戰(zhàn),同時過往更多的以被動治理、問題驅(qū)動的專項治理方式方法也比較落后,這直接導(dǎo)致技術(shù)團隊很難滿足業(yè)務(wù)方對于財務(wù)、業(yè)務(wù)支持等方面的要求。

通過不斷的汲取教訓(xùn)和總結(jié)經(jīng)驗,我們開始意識到數(shù)據(jù)管治是一個非常復(fù)雜的綜合性問題,只有構(gòu)建出一套標(biāo)準(zhǔn)的業(yè)務(wù)數(shù)據(jù)管治體系,才能確保數(shù)據(jù)治理在現(xiàn)狀評估、目標(biāo)制定、流程規(guī)范建設(shè)、治理監(jiān)控管理、能力建設(shè)、執(zhí)行效率、效果評價等各環(huán)節(jié)有效落地。下面介紹一下我們在治理體系化層面的理解和思考。

1、什么是數(shù)據(jù)治理體系化?

針對數(shù)據(jù)管理和治理,我們期望搭建一套集管理體系、方法體系、評價體系、標(biāo)準(zhǔn)體系、工具體系等核心能力的組合,持續(xù)服務(wù)于數(shù)據(jù)管治實施。可以類比一般的電商公司,如果需要運轉(zhuǎn)并服務(wù)好顧客,它首先必須搭建起來一套銷售體系、產(chǎn)品體系、供給體系、物流體系、人力體系等等,只有這樣才可以相互配合,實現(xiàn)服務(wù)好用戶這一大目標(biāo)。

圖片

圖2 數(shù)據(jù)治理體系思考

2、數(shù)據(jù)治理體系化如何解決目前治理存在的問題?

1)方式方法上

先做頂層治理框架設(shè)計,從團隊整體視角定義和規(guī)劃好治理的范圍、人員、職責(zé)、目標(biāo)、方法、工具等必須部分,再進行落地。更關(guān)注整體策略的普適性及有效性,而非深陷某個具體問題解決方案開始治理。

2)技術(shù)手段上

以完善的技術(shù)研發(fā)規(guī)范為基礎(chǔ),以元數(shù)據(jù)及指標(biāo)體系為核心,對業(yè)務(wù)數(shù)倉和數(shù)據(jù)應(yīng)用進行全面評價和監(jiān)控,同時配套治理系統(tǒng)工具,幫助治理同學(xué)落地治理策略和解決數(shù)據(jù)開發(fā)同學(xué)治理效率低問題。

3)運營策略上

通過對待治理問題進行影響范圍、收益情況進行評估,確定待治理問題的重要度,從管理者視角以及問題責(zé)任人視角2個途徑推動不同重要程度的治理問題解決。

3、業(yè)務(wù)數(shù)據(jù)管治體系框架如何建設(shè)?

我們的建設(shè)思路是:以團隊數(shù)據(jù)治理目標(biāo)為核心導(dǎo)向,設(shè)計實現(xiàn)目標(biāo)需要的相關(guān)能力組合,并根據(jù)組織要求,實施過程的問題反饋,持續(xù)不斷地迭代完善,最終實現(xiàn)數(shù)據(jù)治理的愿景。

體系框架主要包含以下內(nèi)容:

  • 管理層

立法,制定相關(guān)的組織保障流程規(guī)范、職責(zé)設(shè)計、獎懲措施,指導(dǎo)和保障數(shù)據(jù)治理順利進行,這是數(shù)據(jù)治理能夠成功啟動運轉(zhuǎn)的關(guān)鍵因素。

  • 標(biāo)準(zhǔn)層

設(shè)標(biāo)準(zhǔn),制定各類研發(fā)標(biāo)準(zhǔn)規(guī)范、解決方案標(biāo)準(zhǔn)SOP等數(shù)據(jù)治理過程中需要的各類技術(shù)規(guī)范和解決方案,這是所有技術(shù)問題正確與否的重要依據(jù),也是治理中事前解決方案必不可少的一部分。完善的標(biāo)準(zhǔn)規(guī)范和良好的落地效果,可很好地降低數(shù)據(jù)故障問題的發(fā)生量。

  • 能力層

完善能力,主要是基于元數(shù)據(jù)的問題度量的數(shù)字化能力,以及問題工具化檢測和解決的系統(tǒng)化能力。數(shù)字化和系統(tǒng)化能力是數(shù)據(jù)治理實施的科學(xué)性、實施的質(zhì)量及效率的重要保障。

  • 執(zhí)行層

設(shè)定動作,結(jié)合要達成的具體目標(biāo),對各治理域問題,按照事前約束、事中監(jiān)控、事后治理的思路進行解決。目標(biāo)的達成,需要拆分到7大治理域相關(guān)的具體問題中去落地。因此,一個治理目標(biāo)的達成,很依賴治理域?qū)栴}描述的全面性及深度。

  • 評價層

給出評價,基于指標(biāo)的問題監(jiān)控,健康度評價體系,專項評估報告,評價治理收益及效果,這是實施治理推進過程監(jiān)控,結(jié)果檢驗的重要抓手。

  • 愿景

長期治理目標(biāo),指導(dǎo)數(shù)據(jù)管治有方向地不斷朝著最終目標(biāo)前進。

圖片

圖3 數(shù)據(jù)治理體系概覽

體系框架建設(shè)成果:業(yè)務(wù)數(shù)據(jù)治理體系框架是針對數(shù)據(jù)治理工作整體做的頂層方案設(shè)計,框架定義好了業(yè)務(wù)線數(shù)據(jù)治理是什么、怎么做、做什么、用什么工具以及達成什么目標(biāo)。拉齊各方對業(yè)務(wù)數(shù)據(jù)治理的認(rèn)知,標(biāo)準(zhǔn)化治理路徑方法和組成部分,指導(dǎo)數(shù)據(jù)治理有序、有效地進行。

圖片

圖4 數(shù)據(jù)治理體系框架

4、體系框架如何落地實施?

參照業(yè)務(wù)線數(shù)據(jù)標(biāo)準(zhǔn)化管治體系框架各組成部分特點,我們具體通過標(biāo)準(zhǔn)化、數(shù)據(jù)化、系統(tǒng)化3大部分能力建設(shè)及運營,來實現(xiàn)數(shù)據(jù)管治體系框架的落地,并應(yīng)用在數(shù)據(jù)治理問題的解決中,最終拿到可量化的結(jié)果。

圖片

圖5 數(shù)據(jù)治理體系化落地思路

四、治理體系化實踐

1、標(biāo)準(zhǔn)化

數(shù)據(jù)治理標(biāo)準(zhǔn)化是企業(yè)進行數(shù)據(jù)資產(chǎn)管理的關(guān)鍵突破口和重要手段,一系列政策、法規(guī)、規(guī)劃需要轉(zhuǎn)化為標(biāo)準(zhǔn)和制度才能有效落地。數(shù)據(jù)治理標(biāo)準(zhǔn)化既有利于建立健全各種數(shù)據(jù)管理工作機制、完善業(yè)務(wù)流程,又有利于提升數(shù)據(jù)質(zhì)量,保障數(shù)據(jù)安全合規(guī)使用,釋放數(shù)據(jù)價值。但在數(shù)據(jù)治理標(biāo)準(zhǔn)化建設(shè)過程中,我們經(jīng)常會面臨以下三個問題:

  • 流程規(guī)范缺失:各個環(huán)節(jié)缺少標(biāo)準(zhǔn)和約束來指導(dǎo)規(guī)范化操作,無法有效杜絕問題的發(fā)生、解決。
  • 落地條件差:規(guī)范標(biāo)準(zhǔn)、SOP等不具備落地條件,靠主觀意愿,無法有效落地,效果差。
  • 建設(shè)方法不合理:規(guī)范建設(shè)Case by Case,缺少體系化建設(shè)思路導(dǎo)致“一直建、一直缺”。

針對上述三個問題,我們從解決問題的視角出發(fā),劃分?jǐn)?shù)據(jù)開發(fā)流程,通過事前約束、事中監(jiān)控、事后分析評估的思路,整理補齊缺失的流程規(guī)范,從而實現(xiàn)標(biāo)準(zhǔn)流程規(guī)范在數(shù)據(jù)管治各環(huán)節(jié)全覆蓋,并建設(shè)系統(tǒng)化工具來保障標(biāo)準(zhǔn)規(guī)范的落地實施。下文將分別從規(guī)范建設(shè)及工具保障兩方面來介紹我們在數(shù)據(jù)治理標(biāo)準(zhǔn)化過程中是如何解決上述問題的。

圖片

圖6 數(shù)據(jù)治理標(biāo)準(zhǔn)化思路

1)規(guī)范建設(shè)

規(guī)范是數(shù)據(jù)治理建章立制的基礎(chǔ),針對標(biāo)準(zhǔn)規(guī)范建設(shè)不合理及流程規(guī)范缺失的問題,我們用體系化的建設(shè)思路從整體架構(gòu)上對數(shù)據(jù)開發(fā)流程及數(shù)據(jù)治理流程進行劃分,并針對全流程數(shù)據(jù)管治各個環(huán)節(jié)建設(shè)相應(yīng)規(guī)范:

  • 數(shù)據(jù)治理管理規(guī)范

明確數(shù)據(jù)治理組織職責(zé)以及人員構(gòu)成,確定數(shù)據(jù)治理實施流程及治理問題運維流程,以保障數(shù)據(jù)治理過程順利進行。

  • 數(shù)據(jù)研發(fā)規(guī)范

明確數(shù)據(jù)開發(fā)各個環(huán)節(jié)需要遵守的規(guī)范要求,從問題產(chǎn)生的源頭,通過建設(shè)完善的研發(fā)規(guī)范,指導(dǎo)研發(fā)工作按標(biāo)準(zhǔn)進行,一定程度上可減少問題發(fā)生。

  • 數(shù)據(jù)標(biāo)準(zhǔn)化治理SOP

明確各個治理問題治理動作,確保治理動作是標(biāo)準(zhǔn)且可實施。

  • 數(shù)據(jù)健康度評估規(guī)范

明確治理效果的評價標(biāo)準(zhǔn),對數(shù)據(jù)體系做到長期,穩(wěn)定及指標(biāo)化的衡量。

圖片

圖7 數(shù)據(jù)治理規(guī)范化建設(shè)成果

2)工具保障

① 標(biāo)準(zhǔn)規(guī)范可視化-知識中心

在標(biāo)準(zhǔn)規(guī)范的共享方面,以往技術(shù)團隊在實際規(guī)范落地過程中可能存在以下問題:

  • 規(guī)范找不著:重要規(guī)范文檔散落在各個Wiki空間,導(dǎo)致使用時無法快速查找,效率低下。
  • 規(guī)范質(zhì)量差:文檔沒有統(tǒng)一進行維護,無法持續(xù)進行迭代和完善,不能隨著業(yè)務(wù)及技術(shù)的發(fā)展更新。
  • 規(guī)范沒權(quán)限:文檔散落在各個成員的私人空間內(nèi)部,未對所有人開通權(quán)限,優(yōu)質(zhì)內(nèi)容無法及時共享。

針對上述問題,我們重新收集整理已有規(guī)范文檔并進行分類,補充缺失文檔,優(yōu)化文檔內(nèi)容,并新增知識中心模塊,將知識體系框架產(chǎn)品化,在產(chǎn)品層面維護統(tǒng)一的入口及權(quán)限管理,同時嚴(yán)格控制發(fā)布流程,解決了標(biāo)準(zhǔn)規(guī)范在實際落地時“找不著”、“質(zhì)量差”、“沒權(quán)限”等問題。

圖片

圖8 知識中心及文檔發(fā)布流程

② 測試規(guī)范工具化-八卦爐

在數(shù)據(jù)測試規(guī)范落地方面,以往數(shù)據(jù)測試規(guī)范都是通過Wiki維護,無法約束大家實際執(zhí)行過程,導(dǎo)致數(shù)據(jù)質(zhì)量較差,容易出現(xiàn)數(shù)據(jù)故障。為減少數(shù)據(jù)開發(fā)過程中由于測試不規(guī)范而導(dǎo)致數(shù)據(jù)故障的情況,提升數(shù)據(jù)質(zhì)量及業(yè)務(wù)滿意度,我們利用數(shù)據(jù)中心與數(shù)據(jù)平臺工具組合作共建的ETL測試工具(美團內(nèi)部工具-八卦爐)來保障測試規(guī)范SOP落地執(zhí)行,要求大家在不影響測試驗數(shù)效率情況下充分測試,實現(xiàn)數(shù)據(jù)治理問題在事前約束,減少事后問題量,保障數(shù)據(jù)質(zhì)量,工具建設(shè)如下圖所示:

圖片

圖9 測試規(guī)范工具化-美團八卦爐架構(gòu)圖

③ 治理提效保質(zhì)工具-SOP自動化工具

在日常數(shù)據(jù)開發(fā)工作中,數(shù)據(jù)工程師會承擔(dān)一部分?jǐn)?shù)據(jù)治理工作,以往都是通過執(zhí)行數(shù)據(jù)治理SOP中每個步驟對問題進行治理,但經(jīng)常會面臨以下幾個問題:

  • 治理效率低:需要根據(jù)SOP中治理經(jīng)驗,去各個平臺分別執(zhí)行相應(yīng)治理動作,對于一些步驟較為復(fù)雜的SOP,需要跳轉(zhuǎn)多個平臺操作,治理效率較低。
  • 治理過程無法約束:治理經(jīng)驗浮于文字,無法約束數(shù)據(jù)工程師的執(zhí)行動作,導(dǎo)致部分問題治理不徹底。

基于上述問題,我們開發(fā)了治理提效工具-SOP自動化工具,匯總多個平臺治理工具,將數(shù)據(jù)治理標(biāo)準(zhǔn)化SOP的各個執(zhí)行步驟通過工具落地,實現(xiàn)在一個工具內(nèi)一站式治理能力,約束工程師的治理動作,確保整個治理過程是標(biāo)準(zhǔn)的,效果是可監(jiān)控的,從而提升了治理效率及治理質(zhì)量。

比如無效任務(wù)的治理,首先需要調(diào)研問題治理經(jīng)驗并沉淀至SOP文檔,然后將SOP文檔中各個執(zhí)行步驟依次通過自動化的工具進行配置。數(shù)據(jù)工程師在治理時只需要在一個界面內(nèi)即可實現(xiàn)全部的治理動作,下圖是無效任務(wù)治理SOP及美團的自動化工具:

圖片

圖10 無效任務(wù)治理SOP及美團的自動化工具

3)標(biāo)準(zhǔn)化收益及建設(shè)經(jīng)驗

通過數(shù)據(jù)治理標(biāo)準(zhǔn)化建設(shè),我們解決了團隊在數(shù)據(jù)治理規(guī)范方面若干問題,取得了明顯效果:

  • 實現(xiàn)了數(shù)據(jù)開發(fā)、數(shù)據(jù)治理的標(biāo)準(zhǔn)化,解決了團隊內(nèi)各小組之間在開發(fā)、管理、運維方面流程方法標(biāo)準(zhǔn)不一致的問題。
  • 通過測試工具對標(biāo)準(zhǔn)化測試規(guī)范進行落地,在事前阻塞問題發(fā)生,提升數(shù)據(jù)質(zhì)量,減少故障發(fā)生。
  • 通過SOP自動化工具,有效保障治理過程的標(biāo)準(zhǔn)化,解決了治理效果差的問題。

同時,我們在實際建設(shè)的過程中,也總結(jié)了一些標(biāo)準(zhǔn)化的建設(shè)經(jīng)驗:

  • 標(biāo)準(zhǔn)規(guī)范如何落地,需成為標(biāo)準(zhǔn)流程規(guī)范建設(shè)的一部分,最好有交付物。
  • 標(biāo)準(zhǔn)規(guī)范的制定,除常規(guī)內(nèi)容外,需要綜合考慮組織目標(biāo)、組織特點、已有工具、歷史情況、用戶反饋等因素,否則會給人“不接地氣”的感覺。
  • 標(biāo)準(zhǔn)規(guī)范的制定要優(yōu)先考慮利用和適配已有工具能力,借助工具落地,而非讓工具適配流程規(guī)范。

2、數(shù)字化

以往大家在開展數(shù)據(jù)治理工作時主要依賴經(jīng)驗判斷,缺乏科學(xué)可量化的抓手,對治理問題的嚴(yán)重程度無法準(zhǔn)確感知,同時對治理收益的回收也不能準(zhǔn)確評估。因此我們開展了數(shù)字化的工作,將大家數(shù)據(jù)開發(fā)工作用數(shù)據(jù)描述,構(gòu)建整個數(shù)據(jù)開發(fā)工作的準(zhǔn)確視圖。

1)數(shù)字化架構(gòu)設(shè)計方案

建設(shè)思路:通過對數(shù)據(jù)生命周期各環(huán)節(jié)進行類比業(yè)務(wù)數(shù)倉建設(shè)中抽象和描述業(yè)務(wù)對象方式,進行元數(shù)據(jù)對象的抽象和描述,并建設(shè)成元數(shù)據(jù)數(shù)倉和治理指標(biāo)體系,應(yīng)用在數(shù)據(jù)管治場景。

框架主要包含元數(shù)據(jù)倉庫、指標(biāo)體系、數(shù)據(jù)資產(chǎn)等級以及基于元數(shù)倉基礎(chǔ)上建立的各個數(shù)據(jù)應(yīng)用,利用元數(shù)據(jù)驅(qū)動數(shù)據(jù)治理及日常團隊管理,避免過多依賴經(jīng)驗解決問題,更好地服務(wù)業(yè)務(wù)。下邊幾個章節(jié)將分別介紹數(shù)字化框架最核心的數(shù)據(jù)內(nèi)容:元數(shù)據(jù)倉庫、指標(biāo)體系、數(shù)據(jù)資產(chǎn)等級。

圖片

圖11 數(shù)字化框架

2)元數(shù)據(jù)倉庫建設(shè)

元數(shù)據(jù)是描述數(shù)據(jù)的數(shù)據(jù),包含數(shù)據(jù)資產(chǎn)種類、數(shù)據(jù)存儲大小、數(shù)據(jù)流血緣關(guān)系、數(shù)據(jù)生產(chǎn)過程等信息,存在信息種類多,分布零散,信息不完整的特點。豐富的元數(shù)據(jù)有助于我們快速了解團隊數(shù)據(jù)資產(chǎn),讓數(shù)據(jù)資產(chǎn)更加精準(zhǔn),透明。為數(shù)據(jù)使用和價值釋放提供支撐。

我們的建設(shè)思路,采取數(shù)據(jù)業(yè)務(wù)化、業(yè)務(wù)數(shù)字化、數(shù)字應(yīng)用化的思路來搭建元數(shù)據(jù)倉庫。

  • 數(shù)據(jù)業(yè)務(wù)化:即將數(shù)據(jù)工程師日常數(shù)據(jù)開發(fā)工作業(yè)務(wù)化描述,抽象多個業(yè)務(wù)過程,如需求提出、任務(wù)開發(fā)、數(shù)據(jù)表產(chǎn)出、數(shù)據(jù)應(yīng)用、需求交付。
  • 業(yè)務(wù)數(shù)字化:用建設(shè)業(yè)務(wù)數(shù)倉的思路和方法,對數(shù)據(jù)業(yè)務(wù)化之后的各個業(yè)務(wù)過程及主題,搭建元數(shù)據(jù)數(shù)倉及指標(biāo)衡量體系,并通過元數(shù)據(jù)場景化應(yīng)用提升易用性及豐富度。
  • 數(shù)字應(yīng)用化:在元數(shù)據(jù)倉庫基礎(chǔ)上開發(fā)數(shù)據(jù)產(chǎn)品,驅(qū)動數(shù)據(jù)管治實施。

圖片

圖12 數(shù)據(jù)業(yè)務(wù)化思路

通過數(shù)據(jù)業(yè)務(wù)化思路,我們抽象業(yè)務(wù)域、管理域、技術(shù)域等3大主題域來描述元數(shù)倉對象,并對每個主題域進行細分,劃分多個主題:

  • 業(yè)務(wù)元數(shù)據(jù):基于具體業(yè)務(wù)邏輯元數(shù)據(jù),常見業(yè)務(wù)元數(shù)據(jù)包括業(yè)務(wù)定義、業(yè)務(wù)術(shù)語、業(yè)務(wù)規(guī)則、業(yè)務(wù)指標(biāo)等。
  • 技術(shù)元數(shù)據(jù):描述了與數(shù)據(jù)倉庫開發(fā)、管理和維護相關(guān)數(shù)據(jù),包括數(shù)據(jù)源信息、數(shù)據(jù)倉庫模型、數(shù)據(jù)清洗與更新規(guī)則、數(shù)據(jù)映射和訪問權(quán)限等,主要為開發(fā)和管理數(shù)據(jù)倉庫的工程師使用。
  • 管理元數(shù)據(jù):描述管理領(lǐng)域相關(guān)概念、關(guān)系和規(guī)則的數(shù)據(jù),主要包括管理流程、人員組織、角色職責(zé)等信息。

圖片

圖13 元數(shù)據(jù)倉庫主題信息建設(shè)

在元數(shù)倉分層上,我們采用最常見的四層架構(gòu)分層方式,分別是貼源層、明細層、匯總層、應(yīng)用層和維度信息。區(qū)別于業(yè)務(wù)數(shù)倉分層設(shè)計方式,從明細層就按維度建模思路組織數(shù)據(jù),避免過度設(shè)計,只需要做好主題劃分和解耦。在匯總層從分析習(xí)慣出發(fā)耦合數(shù)據(jù),提升易用性。應(yīng)用層按需創(chuàng)建所需接口支撐應(yīng)用。

圖片

圖14 元數(shù)據(jù)倉庫分層

目前,我們已完成元數(shù)據(jù)倉庫技術(shù)域、管理域、業(yè)務(wù)域部分內(nèi)容的建設(shè),并已支撐指標(biāo)體系及上層多個數(shù)據(jù)應(yīng)用,未來仍將根據(jù)大家在實際工作中核心關(guān)注的內(nèi)容對元數(shù)倉進一步補充和完善。

圖片

圖15 元數(shù)據(jù)倉庫建設(shè)成果

2)指標(biāo)體系建設(shè)

一個問題的衡量需要從多方面進行考慮,只用一個指標(biāo)無法充分說明問題,這就需要一組有邏輯且相互關(guān)聯(lián)的數(shù)據(jù)指標(biāo)來描述問題。在數(shù)據(jù)開發(fā)過程中,需要制定多個指標(biāo)來監(jiān)控衡量數(shù)據(jù)開發(fā)團隊在質(zhì)量、安全、效率、成本等方面存在的問題。

此前,住宿數(shù)據(jù)團隊沒有一套成熟穩(wěn)定的指標(biāo)體系,無法長期準(zhǔn)確衡量團隊的業(yè)務(wù)支持能力、技術(shù)能力。2020年,我們在元數(shù)據(jù)倉庫基礎(chǔ)上搭建了數(shù)據(jù)治理指標(biāo)體系,全面衡量了業(yè)務(wù)數(shù)倉建設(shè)過程中各類問題,通過指標(biāo)體系監(jiān)測工作中的優(yōu)點與不足,提升了團隊的工作能力,進而提高了對業(yè)務(wù)的支持能力。

① 建設(shè)方案

指標(biāo)體系的建設(shè)目標(biāo)是監(jiān)控團隊工作狀態(tài)和變化趨勢,需要能夠覆蓋到工作中的各個方面。因此,在指標(biāo)體系的建設(shè)上,我們通過不同視角對指標(biāo)體系進行分類,做到不重不漏全覆蓋,讓指標(biāo)適用于不同使用場景:

  • 生命周期視角:從數(shù)據(jù)本身出發(fā),衡量數(shù)據(jù)從生產(chǎn)到銷毀的各個過程,包括定義、接入、處理、存儲、使用、銷毀等等。
  • 團隊管理目標(biāo)視角:根據(jù)團隊管理核心要達成的目標(biāo)分類,包括質(zhì)量、效率、成本、安全、易用性、價值等等。
  • 問題對象視角:根據(jù)治理問題核心關(guān)注的對象分類,包括安全、資源、服務(wù)、架構(gòu)、效率、價值、質(zhì)量等等。

圖片

圖16 指標(biāo)體系多視角建設(shè)思路

② 建設(shè)成果

目前我們已建設(shè)技術(shù)、需求及故障三大類指標(biāo)共計112個,全面覆蓋數(shù)據(jù)開發(fā)中的各個環(huán)節(jié):

  • 技術(shù)類指標(biāo):覆蓋成本、質(zhì)量、安全、價值及易用性5個方面共57個指標(biāo)。
  • 需求類指標(biāo):覆蓋新增、響應(yīng)、開發(fā)、上線及驗收等7個方面共36個指標(biāo)。
  • 故障類指標(biāo):覆蓋故障發(fā)現(xiàn)、原因定位及處理環(huán)節(jié)共19個指標(biāo)。

圖片

圖17 指標(biāo)體系建設(shè)成果

元數(shù)據(jù)及指標(biāo)體系應(yīng)用如下:

  • 團隊管理:幫助團隊管理者快速了解團隊情況,提升管理效率。
  • 數(shù)據(jù)治理:利用元數(shù)據(jù)及指標(biāo)體系驅(qū)動數(shù)據(jù)治理,為數(shù)據(jù)治理提供可量化的抓手。
  • 項目評估:幫助項目成員準(zhǔn)確評估項目的問題、進展及收益。

③ 建設(shè)思考

在指標(biāo)建設(shè)過程中,我們沉淀了以下幾點經(jīng)驗:

  • 指標(biāo)體系既要解決管理者對日常工作無抓手的問題,也要成為具體問題處理人員的治理抓手,兼顧管理者和開發(fā)者。
  • 指標(biāo)體系是展示偏整體層面的內(nèi)容,還需通過指標(biāo)解決實際問題,形成指標(biāo)體系和數(shù)據(jù)治理工具閉環(huán),實現(xiàn)發(fā)現(xiàn)問題、治理問題、衡量結(jié)果持續(xù)循環(huán)。
  • 優(yōu)先確定團隊總體發(fā)展目標(biāo),從目標(biāo)拆分設(shè)定指標(biāo),指標(biāo)盡量覆蓋不同業(yè)務(wù)線不同發(fā)展階段。
  • 業(yè)務(wù)需要明確自己所處階段,針對不同階段,制定考核目標(biāo),衡量閥值,既統(tǒng)一了衡量標(biāo)準(zhǔn),又中和了大家考核標(biāo)準(zhǔn)。
  • 指標(biāo)需注意分層建設(shè),避免“胡子眉毛一把抓”,便于適配目前的組織結(jié)構(gòu),也便于劃分責(zé)任與定位。
  • 基礎(chǔ)指標(biāo)體系建設(shè)完成后,可作為平時管理和工作的抓手,作為項目發(fā)起的依據(jù),作為項目結(jié)果評估的手段。

3)資產(chǎn)等級建設(shè)

隨著業(yè)務(wù)快速發(fā)展,團隊負(fù)責(zé)的數(shù)據(jù)資產(chǎn)規(guī)模也日益擴大。截止當(dāng)前,團隊共負(fù)責(zé)離線Hive表3000+,ETL生產(chǎn)任務(wù)2000+,人均負(fù)責(zé)ETL生產(chǎn)任務(wù)100+。在面對規(guī)模日益擴大的數(shù)據(jù)資產(chǎn),團隊管理者及數(shù)據(jù)工程師通常會遇到以下問題:

  • 只能評經(jīng)驗判斷哪些是核心資產(chǎn),遇到問題無法評估解決的優(yōu)先級。
  • 核心鏈路的保障,比如SLA及DQC的配置范圍缺少科學(xué)的評估手段。
  • 管理者對團隊核心資產(chǎn)缺乏準(zhǔn)確的判斷,無法準(zhǔn)確有效的做出管理動作。

為豐富元數(shù)據(jù)之間的關(guān)系和內(nèi)容,挖掘識別更有價值的數(shù)據(jù)信息,以元數(shù)據(jù)能力驅(qū)動數(shù)據(jù)研發(fā)及運維日常工作,在元數(shù)據(jù)倉庫的基礎(chǔ)上我們做了衍生能力即資產(chǎn)等級的建設(shè)。資產(chǎn)等級可以對數(shù)據(jù)的重要性進行科學(xué)有效地評估,也可幫助完善數(shù)據(jù)質(zhì)量分級監(jiān)控方案,從而實現(xiàn)對重點任務(wù)的重點保障。

下圖是數(shù)據(jù)資產(chǎn)等級通用計算流程,我們首先根據(jù)資產(chǎn)類型確認(rèn)各個影響因子及影響權(quán)重值,劃分影響因子重要性等級,其次根據(jù)各個影響因子數(shù)值范圍劃分得分區(qū)間,最后匯總計算得到最終資產(chǎn)等級得分及資產(chǎn)等級結(jié)果,并抽樣驗證結(jié)果的準(zhǔn)確性。

圖片

圖18 資產(chǎn)等級計算流程

① 資產(chǎn)等級建設(shè)(數(shù)據(jù)表)

下圖是針對數(shù)據(jù)表資產(chǎn)等級建設(shè)的方法和流程圖:

圖片

圖19 數(shù)據(jù)表資產(chǎn)等級劃分

  • 確定影響因子及權(quán)重評估

影響因子的確定是資產(chǎn)等級計算中最為關(guān)鍵一環(huán),合理評估影響因子對最終資產(chǎn)等級結(jié)果的準(zhǔn)確性至關(guān)重要。根據(jù)實際數(shù)據(jù)開發(fā)中經(jīng)驗可知,影響數(shù)據(jù)表重要程度主要有以下幾個關(guān)鍵因素:

  • 下游類型:決定下游資產(chǎn)重要程度,下游資產(chǎn)類型一般有ETL任務(wù)和數(shù)據(jù)產(chǎn)品兩類,ETL任務(wù)及數(shù)據(jù)產(chǎn)品又根據(jù)重要度分為普通型及VIP型。
  • 下游數(shù)量:決定是否是關(guān)鍵節(jié)點,對下游生產(chǎn)的影響范圍,下游數(shù)量越多表明影響范圍越大。
  • 使用熱度:決定是否有用,影響查詢用戶的范圍,熱度越高表明影響的用戶范圍越廣。
  • 鏈路深度及分層:決定問題的修復(fù)時間,鏈路越深,問題修復(fù)的時間可能就越長。

確定好影響因子之后,我們需要判斷每個影響因子所占的權(quán)重值。我們采用層次分析法來計算權(quán)重值(層次分析法主要應(yīng)用在不確定情況下及具有多數(shù)個評估準(zhǔn)則的決策問題上,具體計算步驟,大家可查閱相關(guān)的資料),其優(yōu)點是把研究對象作為一個系統(tǒng),按照分解、比較判斷、綜合的思維方式進行決策,而且計算過程簡潔實用。

  • 計算資產(chǎn)等級得分

根據(jù)實際情況對每個影響因子劃分得分區(qū)間,并結(jié)合每個影響因子權(quán)重值,可以計算得到資產(chǎn)等級最終得分。總得分為各影響因子得分與對應(yīng)權(quán)重乘積加和。

  • 資產(chǎn)等級映射

我們將資產(chǎn)等級最終得分劃分區(qū)間至L1 ~ L5,L5為最高資產(chǎn)等級,L1為最低資產(chǎn)等級。

圖片

圖20 資產(chǎn)等級劃分

② 資產(chǎn)等級應(yīng)用場景(數(shù)據(jù)表)

目前,資產(chǎn)等級已運用到日常管治實施,為數(shù)據(jù)分級管治提供了有力的抓手:

圖片

圖21 資產(chǎn)等級應(yīng)用場景


3、系統(tǒng)化

1)數(shù)據(jù)百品-管治中心

除了標(biāo)準(zhǔn)化和數(shù)字化之外,我們數(shù)據(jù)治理體系落地仍面臨諸多問題:

  • 數(shù)據(jù)資產(chǎn)無法統(tǒng)計和描述,管理者及數(shù)據(jù)工程師不知道有什么,缺乏資產(chǎn)的可視化。
  • 管理者缺少抓手發(fā)現(xiàn)團隊的問題,且問題難以追蹤。
  • 治理線上化程度低,需要跳轉(zhuǎn)多個工具,治理效率低,治理過程無法標(biāo)準(zhǔn)化,導(dǎo)致結(jié)果無法保障。

針對上述問題,我們搭建了數(shù)據(jù)百品-管治中心治理平臺(美團內(nèi)部產(chǎn)品),實現(xiàn)了集資產(chǎn)管理、問題分析監(jiān)控、自動化治理、過程追蹤、結(jié)果評價的一站式、全覆蓋數(shù)據(jù)治理平臺,能有效提升治理質(zhì)量和效率,為數(shù)據(jù)質(zhì)量提升做好強有力的支撐。通過“管+治”相結(jié)合的理念,分別從管理者及研發(fā)人員的視角對數(shù)據(jù)、人效等問題實現(xiàn)全面監(jiān)控,并實現(xiàn)了資產(chǎn)全景、管理中心、治理中心三大模塊:

圖片

圖22 管治中心建設(shè)思路

① 資產(chǎn)全景

資產(chǎn)全景從管理者+數(shù)據(jù)RD視角出發(fā),介紹了當(dāng)前數(shù)據(jù)現(xiàn)狀即有什么的問題,幫助業(yè)務(wù)線管理者及數(shù)據(jù)RD實現(xiàn)數(shù)據(jù)資產(chǎn)可視化,為管理者提供技術(shù)管理的抓手,為數(shù)據(jù)RD提升數(shù)據(jù)探查和數(shù)據(jù)使用效率。包含資產(chǎn)大盤、資產(chǎn)目錄、個人資產(chǎn)三個子模塊:

  • 資產(chǎn)大盤:從業(yè)務(wù)線管理者視角出發(fā),展示了業(yè)務(wù)線內(nèi)各類資產(chǎn)概覽,幫助管理者一站式快速了解組內(nèi)數(shù)據(jù)資產(chǎn),無需跳轉(zhuǎn)多個平臺。
  • 資產(chǎn)目錄:展示團隊數(shù)據(jù)各資產(chǎn)類型及明細,為數(shù)據(jù)RD數(shù)據(jù)使用提供信息支撐,提升RD數(shù)據(jù)探查效率。
  • 個人資產(chǎn):從歸屬人視角,展示數(shù)據(jù)RD個人及小組名下數(shù)據(jù)資產(chǎn)數(shù)量和資產(chǎn)類型及數(shù)據(jù)明細,詳細描述個人資產(chǎn)信息。

圖片

圖23 資產(chǎn)全景建設(shè)思路

② 管理中心

數(shù)據(jù)團隊管理者在日常團隊管理中時經(jīng)常會面臨兩個問題:

  • 管理手段多依賴經(jīng)驗判斷,當(dāng)團隊需求承接增加、團隊人數(shù)增加時會帶來管理難度的提升,管理者缺少抓手快速看到團隊的整體情況。
  • 管理動作天級別。管理者發(fā)現(xiàn)團隊某核心指標(biāo)異常(例如:故障數(shù)),需要找對應(yīng)的責(zé)任人詢問,無法從系統(tǒng)上快速進行異常追蹤,原因獲取。

管理中心主要從管理者視角出發(fā),解決了怎么管的問題,通過管理者關(guān)注的核心指標(biāo),為管理者提供監(jiān)測團隊狀態(tài)、判斷團隊問題、輔助管理決策的能力,讓管理者從“依賴經(jīng)驗管理”轉(zhuǎn)變?yōu)椤皵?shù)據(jù)驅(qū)動管理”。包含管理者大盤、運維管理、需求管理、團隊管理四大模塊:

  • 管理者大盤:向管理者提供團隊核心指標(biāo)總覽、問題趨勢分析、異常明細追蹤、異常原因標(biāo)記等功能,方便管理者快速了解團隊情況,及時做出管理動作。
  • 需求管理:提供詳細的人效分析大盤以及需求管理功能,服務(wù)于人效管理及提效。
  • 故障管理:提供詳細的故障分析大盤以及故障復(fù)盤管理能力,提升故障管理效率。
  • 團隊運營:團隊周月報,值班,滿意度問卷等團隊運營需要的能力,提升運營效率。

圖片

圖24 管理中心建設(shè)思路

③ 治理中心

日常數(shù)據(jù)治理過程中,問題責(zé)任人解決問題主要有以下痛點:

  • 不了解分配給自己的待治理問題背景、目標(biāo)和重要程度。治理工作成為盲目去完成分配的任務(wù),即使完成了治理動作,可能依然無法保證是否真正達到治理目標(biāo),尤其是面對同時需要處理多類治理問題時,效果差。
  • 數(shù)據(jù)治理解決問題時通常要使用各類工具互相輔助才能解決,問題多了之后,治理問題變成了重復(fù)使用不同的工具,嚴(yán)重影響治理效率和效果。

治理中心從問題責(zé)任人視角出發(fā),解決了怎么治的問題,為一線治理工程師提供從問題評估分析,到治理,到進度監(jiān)控的一站式治理能力。將治理工作精細化、常態(tài)化運營,提升了數(shù)倉治理質(zhì)量和效率。包含治理概覽、分析評估、問題治理、進度監(jiān)控四大模塊。

  • 治理概覽:治理中心首頁,介紹了團隊數(shù)據(jù)治理體系框架及標(biāo)準(zhǔn)化治理成果,讓使用者在認(rèn)知上與治理中心的治理理念一致,并提供數(shù)據(jù)治理優(yōu)秀解決方案。
  • 分析評估:對七大類治理問題進行量化評估,提供治理優(yōu)先級及問題排名,讓用戶了解應(yīng)該先做什么。
  • 問題治理:提供豐富治理指標(biāo),全面衡量治理問題,問題分配及時通知,并利用SOP自動化工具,實現(xiàn)對解決問題過程的標(biāo)準(zhǔn)化,保障治理效果,提高治理效率。
  • 進度監(jiān)控:提供問題治理進度看板及問題分配進度監(jiān)控,便于管理者宏觀把控問題治理進度,合理規(guī)劃分配節(jié)奏。

圖片

圖25 治理中心建設(shè)思路

2)SOP自動化工具

在日常數(shù)據(jù)治理過程中,每個團隊都會沉淀若干SOP規(guī)范文檔來指導(dǎo)大家進行問題治理,減少問題發(fā)生。但是在SOP的落地上,依然存在很多問題:

  • SOP一般以Wiki形式存在,實際執(zhí)行過程無法跟蹤約束。
  • SOP動作的執(zhí)行需要跳轉(zhuǎn)多個平臺系統(tǒng),執(zhí)行效率低下。

① 建設(shè)方案

基于上述問題,我們開發(fā)了SOP自動化配置工具。SOP自動化工具是一款SOP配置工具,適用于問題治理類SOP,將治理動作通過工具進行配置以提高治理效率,進而保證過程質(zhì)量和結(jié)果質(zhì)量。目標(biāo)是解決SOP規(guī)范文檔在落地過程中遇到的執(zhí)行效率低、過程無法跟蹤監(jiān)控的問題,實現(xiàn)一站式解決問題的能力。

SOP自動化工具主要包含基礎(chǔ)組建層、配置層及應(yīng)用層,以下是產(chǎn)品架構(gòu)圖及產(chǎn)品界面:

  • 基礎(chǔ)組建層:SOP最小粒度模塊,包括展示類組件(富文本、表格、IFrame),邏輯控制類組件(單選、多選),用戶可根據(jù)SOP內(nèi)容選擇多個基礎(chǔ)組件組合。
  • 配置層:配置SOP中使用參數(shù)信息及執(zhí)行步驟。
  • 應(yīng)用層:SOP最終效果展示,通過URL接口對外提供服務(wù),比如治理中心可調(diào)用SOP工具接口實現(xiàn)一站式治理能力。

圖片

圖26 SOP自動化工具架構(gòu)

圖片

圖27 SOP自動化工具產(chǎn)品

② SOP實際操作步驟

用戶在創(chuàng)建SOP后可選擇性配置需要展示的數(shù)據(jù)信息,然后按照SOP執(zhí)行步驟依次拖動各個基礎(chǔ)組件,并填寫執(zhí)行操作完成SOP的配置工作,在效果預(yù)覽完成后即可發(fā)布上線并生成外嵌URL。自動化工具主要通過外嵌的形式對外提供服務(wù)。

圖片

圖28 SOP工具化操作步驟

③ 應(yīng)用場景

通過SOP自動化工具,數(shù)據(jù)治理已實現(xiàn)了問題解決過程線上化、步驟標(biāo)準(zhǔn)化,很好地保障了治理效果,提升了治理效率。下圖是無效存儲指標(biāo)在使用SOP自動化工具前后的流程對比,通過對比,我們可以看到之前工程師需要人工確認(rèn)若干信息,并跳轉(zhuǎn)多個平臺操作,現(xiàn)在只需要在一個界面完成所有動作,極大地減輕了研發(fā)人員的工作量。

圖片

圖29 無效存儲流程優(yōu)化對比

目前,我們團隊已完成7大治理域內(nèi)30多個指標(biāo)的治理SOP建設(shè),并均已通過自動化工具落地。后續(xù),我們?nèi)詫⑻剿髌渌麑m椫卫韮?nèi)容,并利用SOP自動化工具輔助開展數(shù)據(jù)治理的工作。

3)經(jīng)驗總結(jié)

通過數(shù)據(jù)治理系統(tǒng)化的建設(shè),我們總結(jié)了以下幾點:

  • 系統(tǒng)化是將解決問題的方法從線下到線上,從散點動作到連貫動作的一種有效解決方案。
  • 沒有完美的系統(tǒng),也不必追求完美,考慮投入產(chǎn)出比,快速解決主要矛盾,應(yīng)用到具體問題解決中。
  • 產(chǎn)品定位設(shè)計,產(chǎn)品長遠規(guī)劃的能力設(shè)計尤為重要,否則容易出現(xiàn)“做著做著不知道做什么,不知道往什么方向發(fā)展”的情況。

五、業(yè)務(wù)數(shù)據(jù)治理實施流程

數(shù)據(jù)治理實施流程,是我們依據(jù)業(yè)務(wù)數(shù)據(jù)治理標(biāo)準(zhǔn)化框架在實施解決具體數(shù)據(jù)問題時,總結(jié)抽象出來的一套適用于大多數(shù)治理場景解決問題的通用標(biāo)準(zhǔn)流程。標(biāo)準(zhǔn)流程的好處在于更加規(guī)范化數(shù)據(jù)治理工程師的操作流程,來保證實施的質(zhì)量。流程一共包含5個步驟:

1)發(fā)現(xiàn)問題和制定目標(biāo),發(fā)現(xiàn)問題要從業(yè)務(wù)數(shù)據(jù)開發(fā)團隊的視角出發(fā),圍繞服務(wù)好業(yè)務(wù)、遵守數(shù)據(jù)研發(fā)規(guī)范、收集好用戶反饋,盡可能全地發(fā)現(xiàn)和收集相關(guān)需要解決的問題。同時,制定的目標(biāo)要具備可實現(xiàn)性。

2)針對問題進行拆解,設(shè)計可衡量的指標(biāo),并通過元數(shù)據(jù)的采集建設(shè)進行實現(xiàn),用做對目標(biāo)的進一步量化,并作為實施過程監(jiān)控及治理抓手。

3)對衡量出來的具體問題,制定相關(guān)的解決SOP,并且檢查相應(yīng)的研發(fā)標(biāo)準(zhǔn)規(guī)范是否完善,通過問題發(fā)生的事前、事中、事后幾個階段,建設(shè)或完善相應(yīng)的工具化解決問題的能力。

4)推廣運營,以拿結(jié)果為核心目標(biāo),針對不同角色運用不同策略,重點關(guān)注問題解決過程是否會與用戶利益發(fā)生沖突,控制好節(jié)奏,根據(jù)問題的重要程度有規(guī)劃地進行解決。

5)總結(jié)沉淀方法論,迭代認(rèn)知,持續(xù)探索問題的最優(yōu)解,優(yōu)化治理方案和能力。

圖片

圖30 業(yè)務(wù)數(shù)據(jù)治理實施流程

六、總結(jié)與展望

經(jīng)過在數(shù)據(jù)治理體系化建設(shè)上的持續(xù)思考與實踐,我們的體系化框架基本建立,在數(shù)據(jù)治理的標(biāo)準(zhǔn)化、數(shù)字化和系統(tǒng)化三個方向上取得了較大的進展,并且在業(yè)務(wù)應(yīng)用上取得了一定的成績。更重要的是,我們在數(shù)據(jù)成本、安全、效率等多個領(lǐng)域都幫助業(yè)務(wù)解決了實際的問題,尤其是在成本方面,預(yù)計每年可以幫助業(yè)務(wù)可節(jié)省數(shù)百萬的成本,獲得了業(yè)務(wù)方的肯定。

但對比“理想終態(tài)”,我們的工作仍任重道遠。數(shù)據(jù)治理體系化框架這個龐大“身軀”中的各個血脈、骨骼、臟腑還需要持續(xù)充盈,在流程規(guī)范、元數(shù)據(jù)數(shù)倉、指標(biāo)體系、資產(chǎn)分級等的建設(shè)過程中,還有很多需要靠專家經(jīng)驗、人為判斷、人工操作串聯(lián)的場景存在。下一步,我們將在智能化(如智能化元數(shù)據(jù)服務(wù)、智能化數(shù)據(jù)標(biāo)準(zhǔn)建設(shè)等)、自動化(基于治理框架的治理應(yīng)用場景的線上化建設(shè)等)等方面發(fā)力。

責(zé)任編輯:張燕妮 來源: dbaplus社群
相關(guān)推薦

2024-01-24 12:09:33

代碼Lodash前端

2017-12-29 08:54:58

高可用數(shù)據(jù)庫架構(gòu)

2024-12-05 11:03:04

2024-06-13 10:37:30

2020-10-10 17:34:11

大數(shù)據(jù)IT技術(shù)

2018-12-07 12:54:22

App美團外賣iOS客戶端

2022-09-26 09:53:18

開發(fā)緩存

2018-03-13 08:37:21

技術(shù)程序員管理

2021-01-06 16:37:17

5G網(wǎng)絡(luò)運營商

2021-02-26 00:46:11

CIO數(shù)據(jù)決策數(shù)字化轉(zhuǎn)型

2022-07-29 11:19:38

日志框架實踐

2025-09-22 07:32:48

2022-08-09 09:18:47

優(yōu)化實踐

2025-04-28 08:05:00

RAID磁盤存儲

2022-05-27 09:42:12

數(shù)據(jù)庫異常

2021-08-29 18:36:17

MySQL技術(shù)面試題

2020-05-21 11:38:10

監(jiān)控系統(tǒng)架構(gòu)技術(shù)

2021-02-05 07:33:44

攻略面試項目

2013-08-20 13:11:58

技術(shù)美團

2018-08-03 11:58:07

美團分布式數(shù)據(jù)處理可視化
點贊
收藏

51CTO技術(shù)棧公眾號

西西裸体人体做爰大胆久久久| 亚洲精品网站在线| 国产真实有声精品录音| 综合久久久久综合| 国产高清自拍一区| 亚洲日本韩国在线| 日韩精品一区二区久久| 欧美大片一区二区三区| 欧美高清视频一区二区三区在线观看| 69xxxx国产| 日本一道高清一区二区三区| 一本色道久久综合亚洲精品按摩| 日韩视频在线免费播放| 神马一区二区三区| 久久国产福利国产秒拍| 亚洲**2019国产| 美女流白浆视频| 高清av不卡| 伊人一区二区三区| 日韩妆和欧美的一区二区| 伊人在线视频观看| 国偷自产视频一区二区久| 欧美三级中文字幕| 国产中文字幕二区| 免费看a在线观看| kk眼镜猥琐国模调教系列一区二区| 国产成人精品久久二区二区| 亚洲天堂网av在线| 久久夜色精品国产噜噜av小说| 在线看不卡av| 色一情一区二区三区四区| 日韩黄色在线播放| 亚洲欧美一级二级三级| 亚洲欧美日韩精品| 激情深爱综合网| 97在线观看免费观看高清| 国产精品一区二区不卡| 欧美在线激情网| 北京富婆泄欲对白| 99re久久| 懂色av一区二区三区| 黄色网络在线观看| 深夜福利在线观看直播| 国产a区久久久| 国产日本欧美在线观看| 天天操夜夜操视频| 亚洲图片在线| 久久午夜a级毛片| 免费看污片网站| eeuss国产一区二区三区四区| 国产精品传媒入口麻豆| 精品国产第一页| 一区二区三区精彩视频| 久久久久综合| 亚州欧美日韩中文视频| 国产高潮流白浆| 日韩成人精品一区二区| 亚洲欧美一区二区精品久久久| 色悠悠在线视频| 久久天堂久久| 91精品久久久久久久91蜜桃| 国产精品亚洲αv天堂无码| 热三久草你在线| 婷婷国产在线综合| 久久精品xxx| 变态调教一区二区三区| 亚洲精品国久久99热| 永久久久久久| a天堂中文在线| 亚洲欧洲成人精品av97| 亚洲一区二区三区精品动漫| 福利视频在线播放| 蜜桃久久久久久久| 青青草99啪国产免费| 少妇一级淫片免费放中国| 最新日韩欧美| 性色av一区二区三区在线观看| 久久久久无码精品国产| 国产精品多人| 91国产美女在线观看| 亚洲成人av免费在线观看| 视频一区日韩精品| 日韩免费看网站| 色悠悠在线视频| 精品日产乱码久久久久久仙踪林| 亚洲国产欧美一区二区三区同亚洲 | 久久亚洲精品视频| 天天天天天天天天操| 在线免费观看日本欧美爱情大片| 久久色免费在线视频| 免费国产羞羞网站美图| 欧美三级特黄| 欧美尺度大的性做爰视频| 波多野结衣国产| 日韩电影免费在线看| 成人亚洲欧美一区二区三区| 国产a级免费视频| 成人污污视频在线观看| 好吊妞www.84com只有这里才有精品| 香蕉视频网站在线| 国产午夜精品久久久久久免费视| 亚洲国产一区二区精品视频 | 污视频软件在线观看| 97精品国产露脸对白| 日本成人三级电影网站| 日本中文字幕在线2020| 中文字幕一区二区三中文字幕| 亚洲国产激情一区二区三区| 男人天堂久久久| 一区二区三区自拍| 91九色在线观看视频| 亚洲四虎影院| 精品美女一区二区| 亚洲自拍偷拍图| 中文字幕人成人乱码| 午夜美女久久久久爽久久| 亚洲精品久久久久久久蜜桃| 国产美女视频91| 欧美自拍大量在线观看| 中文在线观看免费高清| 成人午夜在线播放| 五码日韩精品一区二区三区视频| 午夜影院免费在线| 色偷偷久久一区二区三区| caoporm在线视频| 免费高清视频在线一区| 91精品麻豆日日躁夜夜躁| 中文成人无字幕乱码精品区| 日韩一区二区在线免费| 97高清免费视频| 91丨porny丨在线中文 | 91精品国产91| 一区二区日韩在线观看| 91片在线免费观看| 欧美大片免费播放| 亚洲天堂1区| 亚洲精品成人av| 五月天丁香激情| 琪琪一区二区三区| 久久精品日产第一区二区三区| 国产免费一区二区三区免费视频| 成人黄色777网| 中文字幕一区二区三区在线乱码| 中日韩脚交footjobhd| 欧美一级搡bbbb搡bbbb| 69精品无码成人久久久久久| 亚洲久久在线| www 成人av com| 天堂中文а√在线| 色综合久久综合网97色综合| 中国一级特黄录像播放| 综合天堂av久久久久久久| 国产精品视频99| 精品电影在线| 精品毛片三在线观看| 美女日批在线观看| 国产区一区二| 日韩在线免费视频观看| 91丨九色丨海角社区| 96av麻豆蜜桃一区二区| 五月丁香综合缴情六月小说| 8x国产一区二区三区精品推荐| 中文字幕日韩有码| 久久精品国产亚洲av无码娇色 | 色婷婷综合在线观看| 午夜激情久久| 国产女精品视频网站免费| 国产毛片在线看| 色哟哟欧美精品| 美女爆乳18禁www久久久久久| 99热免费精品在线观看| 国产欧美日韩综合精品二区| 国内在线视频| 欧美精品一区二区三区视频| 国产大片中文字幕在线观看| 国产成人小视频| 国产玉足脚交久久欧美| 91精品国产乱码久久久竹菊| 久久久精品2019中文字幕神马| 国产精品久久婷婷| 亚洲欧洲一区二区在线播放| 亚洲日本黄色片| 中国成人一区| av免费观看久久| www中文字幕在线观看| 亚洲高清久久网| 在线天堂中文字幕| 国产亚洲人成网站| 污视频网址在线观看| 99久久这里只有精品| 97神马电影| 亚洲女同av| 这里只有精品丝袜| 亚洲AV无码成人片在线观看 | 国产成人l区| 欧美日韩国产区一| 天堂网avav| 99精品视频一区二区三区| 北条麻妃av高潮尖叫在线观看| 日韩国产一区| 999热视频在线观看| 无码小电影在线观看网站免费| 亚洲天堂男人的天堂| 一级黄色a视频| 亚洲一二三四久久| 四虎国产精品成人免费入口| 久久国产剧场电影| 老太脱裤让老头玩ⅹxxxx| 亚洲三级网址| 成人免费网站在线| 亚洲一级少妇| 中文字幕日韩电影| 亚洲国产精品视频在线| 色综合中文字幕国产| 黑鬼狂亚洲人videos| 久久综合久久综合九色| 99国产精品久久久久久| 亚洲高清电影| 亚洲a∨一区二区三区| 一区二区在线免费播放| 国产精品久久久久久久久免费| 中文字幕在线观看播放| 欧美日韩亚洲精品一区二区三区 | 日本少妇性高潮| 国产精品午夜在线观看| 午夜免费一级片| 欧美午夜一区| 在线精品日韩| 精品大片一区二区| 懂色一区二区三区av片| 五月激情久久| 国内精品视频在线| 麻豆传媒在线完整视频| 亚洲精品天天看| www.激情五月.com| 欧美日韩中文字幕一区| 午夜毛片在线观看| 亚洲已满18点击进入久久| 日韩欧美黄色网址| 2024国产精品| 久久久高清视频| 国产米奇在线777精品观看| 国产性生活免费视频| 午夜午夜精品一区二区三区文| 国产人与禽zoz0性伦| 不卡一二三区首页| 黄色aaaaaa| 蜜桃av噜噜一区| 欧美精品第三页| 国产精品普通话对白| 青青在线视频免费观看| 国产精品91一区二区三区| 日本一区二区三区四区在线观看 | 影音先锋成人在线电影| 亚洲精品一区二区三| 九一成人免费视频| 久久精品99| 黄色欧美网站| 国产日韩精品久久| 高清日韩欧美| 国产精品日韩二区| 6080成人| 国产另类自拍| 国产精品45p| 国产精品日韩欧美一区二区| 成人久久网站| 国产v综合ⅴ日韩v欧美大片| 91看片一区| 国产欧美精品一区二区三区介绍| 成人免费一区| 成人乱色短篇合集| 国产激情一区| 91沈先生作品| 中文字幕区一区二区三| 99国产精品久久久久老师| 日韩中文字幕| 97人人做人人人难人人做| 亚洲精品影片| 精品国产乱码一区二区三区四区 | 久久精品国产理论片免费| 欧美1区2区3区4区| 欧洲亚洲一区二区| 成人写真视频| 国产欧美综合一区| 亚洲无中文字幕| 久久亚洲精品无码va白人极品| 一区二区动漫| mm1313亚洲国产精品无码试看| 免费在线一区观看| 亚洲三级在线观看视频| 国产超碰在线一区| av网站免费在线播放| 国产欧美日韩三区| 男女性高潮免费网站| 亚洲无人区一区| 日日夜夜操视频| 欧美精品 国产精品| 国产成人久久精品77777综合 | 美女亚洲一区| 一本久道久久综合| 影音先锋久久久| 国产日韩成人内射视频 | 热久久99这里有精品| 成人高清一区| 成人91视频| 精品产国自在拍| www成人免费| 日韩国产精品大片| 在线观看欧美一区二区| 久久欧美一区二区| jizz亚洲少妇| 日韩欧美国产一区二区| 一级片视频播放| 亚洲精品久久久久中文字幕欢迎你 | 在线播放日本| 午夜精品久久久久久99热软件| 精品无人乱码一区二区三区| 99re6热在线精品视频播放速度| av成人资源网| 日韩精品一区二区三区丰满| 一区二区日韩欧美| 亚欧在线免费观看| 成人三级伦理片| 欧日韩不卡视频| 午夜精品久久久久久久99樱桃| 亚洲一级在线播放| 精品无码久久久久久国产| 91精品久久久久久粉嫩| 国产v综合ⅴ日韩v欧美大片| 国产ts一区| 欧美精品一区二区性色a+v| 亚洲欧美大片| 日韩大尺度视频| 亚洲欧洲综合另类| 亚洲黄色小说图片| 日韩午夜精品视频| 乱人伦中文视频在线| 国产精品1234| 亚洲精品动态| 成年人午夜免费视频| 国模无码大尺度一区二区三区| xxxx日本黄色| 色综合久久中文综合久久牛| 韩国av在线免费观看| 三级精品视频久久久久| 神马电影网我不卡| 激情一区二区三区| 亚洲网站啪啪| 师生出轨h灌满了1v1| 亚洲天堂a在线| 日韩久久久久久久久久| 亚洲午夜精品久久久久久性色 | 日韩在线观看网站| 玛雅亚洲电影| 日韩久久不卡| 日本强好片久久久久久aaa| 亚洲最大的黄色网| 午夜精品福利一区二区三区av| 亚洲第一成人av| 欧美风情在线观看| a级日韩大片| 国产无限制自拍| 成人毛片在线观看| 国产一级中文字幕| 亚洲高清久久久久久| 激情在线小视频| 91精品久久久久久久久| 欧美高清在线| 亚洲色图偷拍视频| 亚洲欧美激情一区二区| 国产强伦人妻毛片| 久久99久久99精品中文字幕| 亚洲国产欧美国产第一区| 国产精品久久国产| 成人av在线影院| 成人精品免费在线观看| 亚洲性生活视频在线观看| 国产精品天堂蜜av在线播放 | 亚洲精品自拍网| 中文字幕一区二区三区不卡| 国产精品久久久久久久久毛片| 久久精品视频va| 136福利精品导航| 免费不卡av在线| 久久久国产综合精品女国产盗摄| 伊人久久久久久久久久久久| 中文字幕亚洲专区| 精品国产18久久久久久二百| 蜜桃网站在线观看| 国产激情精品久久久第一区二区| 日韩视频免费观看高清| 亚洲日本aⅴ片在线观看香蕉| 免费成人高清在线视频| 成年人免费观看的视频| 国产精品一区二区无线| 国产午夜视频在线播放| 亚洲午夜国产成人av电影男同| 豆花视频一区| 欧美 日本 亚洲| 国产精品福利一区二区|