成功的數(shù)據(jù)治理方案涉及部署策略、標(biāo)準(zhǔn)和流程，以在整個(gè)企業(yè)中有效正確地利用高質(zhì)量數(shù)據(jù)。如果你的企業(yè)具有數(shù)據(jù)湖環(huán)境，并希望從中獲得高質(zhì)量的分析結(jié)果，則你需要部署正確數(shù)據(jù)湖治理，作為整體治理計(jì)劃的一部分。

[[316070]]

但數(shù)據(jù)湖給企業(yè)數(shù)據(jù)管理的方方面面都帶來挑戰(zhàn)，包括數(shù)據(jù)治理。在開始討論治理挑戰(zhàn)前，我們有必要定義什么是數(shù)據(jù)湖：一種可容納大量原始數(shù)據(jù)的數(shù)據(jù)平臺(tái)，這些數(shù)據(jù)通常以其本機(jī)格式保留，直到需要用于分析。

傳統(tǒng)的數(shù)據(jù)倉庫將數(shù)據(jù)存儲(chǔ)在關(guān)系表中，而數(shù)據(jù)湖則使用平面結(jié)構(gòu)。每個(gè)數(shù)據(jù)元素被分配唯一標(biāo)識(shí)符，并用一組元數(shù)據(jù)標(biāo)簽進(jìn)行標(biāo)記。這就是說，數(shù)據(jù)湖沒有數(shù)據(jù)倉庫那么結(jié)構(gòu)化。在訪問數(shù)據(jù)進(jìn)行分析時(shí)，數(shù)據(jù)會(huì)被分類和整理，而不是在將數(shù)據(jù)加載到數(shù)據(jù)湖中時(shí)。

有效的數(shù)據(jù)治理使企業(yè)能夠提高數(shù)據(jù)質(zhì)量和一致性，并很大程度地利用數(shù)據(jù)進(jìn)行業(yè)務(wù)決策，從而可以改善業(yè)務(wù)規(guī)劃和財(cái)務(wù)績效。數(shù)據(jù)治理的配套數(shù)據(jù)管理學(xué)科包括數(shù)據(jù)質(zhì)量、元數(shù)據(jù)管理和數(shù)據(jù)安全性，所有這些因素都影響到數(shù)據(jù)湖治理。

現(xiàn)在，讓我們看看下面5個(gè)數(shù)據(jù)湖部署中的數(shù)據(jù)治理挑戰(zhàn)。

1.識(shí)別和維護(hù)正確的數(shù)據(jù)源

在很多數(shù)據(jù)湖部署中，源元數(shù)據(jù)沒有被獲取或根本不可用，這使得數(shù)據(jù)湖內(nèi)容的有效性令人質(zhì)疑。例如，可能未列出記錄系統(tǒng)或數(shù)據(jù)集的業(yè)務(wù)所有者，或者顯然冗余數(shù)據(jù)可能會(huì)給數(shù)據(jù)分析人員造成問題。至少應(yīng)記錄數(shù)據(jù)湖中所有數(shù)據(jù)的源元數(shù)據(jù)，并使用戶可以使用它來了解其出處。

2.元數(shù)據(jù)管理問題

元數(shù)據(jù)為數(shù)據(jù)集內(nèi)容提供背景信息，并且是使數(shù)據(jù)在應(yīng)用程序中易于理解和可使用的重要組件。但是很多數(shù)據(jù)湖部署忽略了對收集的數(shù)據(jù)應(yīng)用正確數(shù)據(jù)定義的需求。而且，由于原始數(shù)據(jù)通常被加載到數(shù)據(jù)湖中，很多企業(yè)沒有采取步驟來驗(yàn)證數(shù)據(jù)或?qū)ζ鋺?yīng)用企業(yè)數(shù)據(jù)標(biāo)準(zhǔn)。缺少適當(dāng)?shù)脑獢?shù)據(jù)管理使得數(shù)據(jù)湖中的數(shù)據(jù)對分析的用處不大。

3.在數(shù)據(jù)治理和數(shù)據(jù)質(zhì)量方面缺乏協(xié)調(diào)性

不協(xié)調(diào)的數(shù)據(jù)湖治理和數(shù)據(jù)質(zhì)量工作會(huì)導(dǎo)致劣質(zhì)數(shù)據(jù)進(jìn)入數(shù)據(jù)湖。當(dāng)這些數(shù)據(jù)用于分析并驅(qū)動(dòng)業(yè)務(wù)決策時(shí)，這可能導(dǎo)致結(jié)果不準(zhǔn)確，從而導(dǎo)致喪失對數(shù)據(jù)湖的信心以及整個(gè)企業(yè)對數(shù)據(jù)普遍不信任。有效的數(shù)據(jù)湖部署需要數(shù)據(jù)質(zhì)量分析師和工程師與數(shù)據(jù)治理團(tuán)隊(duì)及數(shù)據(jù)管理員密切合作，以部署數(shù)據(jù)質(zhì)量策略、分析數(shù)據(jù)并采取必要的措施來提高其質(zhì)量。

4.在數(shù)據(jù)治理和數(shù)據(jù)安全方面缺乏協(xié)調(diào)性

在這種情況下，如果數(shù)據(jù)安全標(biāo)準(zhǔn)和策略未被正確納入治理流程中，可能會(huì)導(dǎo)致無法訪問受隱私法規(guī)和其他類型的敏感數(shù)據(jù)保護(hù)的個(gè)人數(shù)據(jù)。盡管數(shù)據(jù)湖旨在成為相當(dāng)開放的數(shù)據(jù)源，但仍需要安全性和訪問控制措施，并且，數(shù)據(jù)治理和數(shù)據(jù)安全團(tuán)隊(duì)?wèi)?yīng)攜手完成數(shù)據(jù)湖設(shè)計(jì)和加載過程，以及持續(xù)的數(shù)據(jù)治理工作。

5.使用相同數(shù)據(jù)湖的業(yè)務(wù)部門之間的沖突

不同部門對于相似數(shù)據(jù)可能具有不同的業(yè)務(wù)規(guī)則，這可能導(dǎo)致無法協(xié)調(diào)數(shù)據(jù)差異以進(jìn)行準(zhǔn)確的分析。完善的數(shù)據(jù)治理方案應(yīng)具有對數(shù)據(jù)策略、標(biāo)準(zhǔn)、流程和定義的企業(yè)視角，包括企業(yè)業(yè)務(wù)詞匯表，這可減少多個(gè)業(yè)務(wù)部門使用同一數(shù)據(jù)湖時(shí)出現(xiàn)的問題。如果企業(yè)有多個(gè)數(shù)據(jù)湖，則每個(gè)數(shù)據(jù)湖都應(yīng)包含在數(shù)據(jù)湖治理流程中，并為其分配業(yè)務(wù)數(shù)據(jù)管理員。 總之，通過在數(shù)據(jù)湖的設(shè)計(jì)、加載和維護(hù)過程中加入強(qiáng)大的數(shù)據(jù)治理、元數(shù)據(jù)管理、數(shù)據(jù)質(zhì)量和數(shù)據(jù)安全流程，并由所有這些領(lǐng)域的經(jīng)驗(yàn)豐富的專業(yè)人員積極參與，可顯著提高數(shù)據(jù)湖的價(jià)值。否則，你的數(shù)據(jù)湖可能會(huì)變成數(shù)據(jù)沼澤。