大數(shù)據(jù)的生命周期分為幾個(gè)階段？

企業(yè)建立大數(shù)據(jù)的生命周期應(yīng)該包括這些部分：大數(shù)據(jù)組織、評(píng)估現(xiàn)狀、制定大數(shù)據(jù)戰(zhàn)略、數(shù)據(jù)定義、數(shù)據(jù)收集、數(shù)據(jù)分析、數(shù)據(jù)治理、持續(xù)改進(jìn)。如下圖：

[[72138]]

我們將從生命周期的每個(gè)階段來(lái)展開(kāi)介紹：

一、 大數(shù)據(jù)的組織

沒(méi)有人，一切都是妄談。大數(shù)據(jù)生命周期的第一步應(yīng)該是建立一個(gè)專(zhuān)門(mén)預(yù)算和獨(dú)立KPI的“大數(shù)據(jù)規(guī)劃、建設(shè)和運(yùn)營(yíng)組織”。包括高層的首席數(shù)據(jù)官，作為sponsor，然后是公司數(shù)據(jù)管理委員會(huì)或大數(shù)據(jù)執(zhí)行籌劃指導(dǎo)委員會(huì)，再往下就是大數(shù)據(jù)的項(xiàng)目組或大數(shù)據(jù)項(xiàng)目組的前身：大數(shù)據(jù)項(xiàng)目預(yù)研究團(tuán)隊(duì)或大數(shù)據(jù)項(xiàng)目籌備組。這個(gè)團(tuán)隊(duì)是今后大數(shù)據(jù)戰(zhàn)略的制定和實(shí)施者的中堅(jiān)力量。由于人數(shù)眾多，建議引入RACI模型來(lái)明確所有人的角色和職責(zé)。

[[72139]]

二、 大數(shù)據(jù)的現(xiàn)狀評(píng)估和差距分析

定戰(zhàn)略之前，先要做現(xiàn)狀評(píng)估，評(píng)估前的調(diào)研包括三個(gè)方面：一是對(duì)外調(diào)研：了解業(yè)界大數(shù)據(jù)有哪些最新的發(fā)展，行業(yè)頂尖企業(yè)的大數(shù)據(jù)應(yīng)用水平如何？行業(yè)的平均尤其是主要競(jìng)爭(zhēng)對(duì)手的大數(shù)據(jù)應(yīng)用水準(zhǔn)如何？二是對(duì)內(nèi)客戶(hù)調(diào)研。管理層、業(yè)務(wù)部門(mén)、IT部門(mén)自身、我們的最終用戶(hù)，對(duì)我們的大數(shù)據(jù)業(yè)務(wù)有何期望？三是自身狀況摸底，了解自己的技術(shù)、人員儲(chǔ)備情況。最后對(duì)標(biāo)，作差距分析，找出gap。 

[[72140]]

找出gap后，要給出成熟度現(xiàn)狀評(píng)估。一般而言，一個(gè)公司的大數(shù)據(jù)應(yīng)用成熟度可以劃分為四個(gè)階段：初始期（僅有概念，沒(méi)有實(shí)踐）；探索期（已經(jīng)了解基本概念，也有專(zhuān)人進(jìn)行了探索和探討，有了基本的大數(shù)據(jù)技術(shù)儲(chǔ)備）；發(fā)展期（已經(jīng)擁有或正在建設(shè)明確的戰(zhàn)略、團(tuán)隊(duì)、工具、流程，交付了初步的成果）；成熟期（有了穩(wěn)定且不斷成熟的戰(zhàn)略、團(tuán)隊(duì)、工具、流程，不斷交付高質(zhì)量成果）。

[[72141]]

三、 大數(shù)據(jù)的戰(zhàn)略

有了大數(shù)據(jù)組織、知道了本公司大數(shù)據(jù)現(xiàn)狀、差距和需求，我們就可以制定大數(shù)據(jù)的戰(zhàn)略目標(biāo)了。大數(shù)據(jù)戰(zhàn)略的制定是整個(gè)大數(shù)據(jù)生命周期的靈魂和核心，它將成為整個(gè)組織大數(shù)據(jù)發(fā)展的指引。

大數(shù)據(jù)戰(zhàn)略的內(nèi)容，沒(méi)有統(tǒng)一的模板，但有一些基本的要求：

1. 要簡(jiǎn)潔，又要能涵蓋公司內(nèi)外干系人的需求。

2. 要明確，以便清晰地告訴所有人我們的目標(biāo)和愿景是什么。

3. 要現(xiàn)實(shí)，這個(gè)目標(biāo)經(jīng)過(guò)努力是能達(dá)成的。
 

 [[72142]]
  

四、 大數(shù)據(jù)的定義

我認(rèn)為：“數(shù)據(jù)不去定義它，你就無(wú)法采集它；無(wú)法采集它，你就無(wú)法分析它；無(wú)法分析它，你就無(wú)法衡量它；無(wú)法衡量它，你就無(wú)法控制它；無(wú)法控制它，你就無(wú)法管理它；無(wú)法管理它，你就無(wú)法利用它”。所以“在需求和戰(zhàn)略明確之后，數(shù)據(jù)定義就是一切數(shù)據(jù)管理的前提”。

 [[72143]]

五、 數(shù)據(jù)采集

1. 大數(shù)據(jù)時(shí)代的數(shù)據(jù)源很廣泛，它們可能來(lái)自于三個(gè)主要方面：現(xiàn)有公司內(nèi)部網(wǎng)各應(yīng)用系統(tǒng)產(chǎn)生的數(shù)據(jù)（比如辦公、經(jīng)營(yíng)生產(chǎn)數(shù)據(jù)），也有來(lái)自公司外互聯(lián)網(wǎng)的數(shù)據(jù)（比如社交網(wǎng)絡(luò)數(shù)據(jù)）和物聯(lián)網(wǎng)等。

[[72144]]

2. 大數(shù)據(jù)種類(lèi)很多，總的來(lái)講可以分為：傳統(tǒng)的結(jié)構(gòu)化數(shù)據(jù)，大量的非結(jié)構(gòu)化數(shù)據(jù)（比如音視頻等）。

3. 數(shù)據(jù)采集、挖掘工具很多。可以基于或集成hadoop的ETL平臺(tái)、以交互式探索及數(shù)據(jù)挖掘?yàn)榇淼臄?shù)據(jù)價(jià)值發(fā)掘類(lèi)工具漸成趨勢(shì)。

4. 數(shù)據(jù)采集的原則：在數(shù)據(jù)源廣泛、數(shù)據(jù)量巨大、采集挖掘工具眾多的背景下，大數(shù)據(jù)決策者必須清楚地確定數(shù)據(jù)采集的原則：“能夠采集到的數(shù)據(jù)，并不意味著值得或需要去采集它。需要采集的數(shù)據(jù)和能夠采集到的數(shù)據(jù)的"交集"，才是我們確定要去采集的數(shù)據(jù)。”

[[72145]]

六、數(shù)據(jù)處理和分析

業(yè)界有很多工具能幫助企業(yè)構(gòu)建一個(gè)集成的“數(shù)據(jù)處理和分析平臺(tái)”。對(duì)企業(yè)大數(shù)據(jù)管理者、規(guī)劃者來(lái)講，關(guān)鍵是“工具要滿(mǎn)足平臺(tái)要求，平臺(tái)要滿(mǎn)足業(yè)務(wù)需求，而不是業(yè)務(wù)要去適應(yīng)平臺(tái)要求，平臺(tái)要去適應(yīng)廠商的工具要求”。那么這個(gè)集成的平臺(tái)應(yīng)該有怎樣的能力構(gòu)成呢？它應(yīng)該能檢索、分類(lèi)、關(guān)聯(lián)、推送和方便地實(shí)施元數(shù)據(jù)管理等。見(jiàn)下圖：

[[72146]]

七、 數(shù)據(jù)呈現(xiàn)

大數(shù)據(jù)管理的價(jià)值，最終要通過(guò)多種形式的數(shù)據(jù)呈現(xiàn)，來(lái)幫助管理層和業(yè)務(wù)部門(mén)進(jìn)行商業(yè)決策。大數(shù)據(jù)的決策者需要將大數(shù)據(jù)的系統(tǒng)與BI（商業(yè)智能）系統(tǒng)和KM（知識(shí)管理）系統(tǒng)集成。下圖就是大數(shù)據(jù)的各種呈現(xiàn)形式。

[[72147]]
 

八、 審計(jì)、治理與控制

1. 大數(shù)據(jù)的審計(jì)、治理和控制指的是大數(shù)據(jù)管理層，組建專(zhuān)門(mén)的治理控制團(tuán)隊(duì)，制定一系列策略、流程、制度和考核指標(biāo)體系，來(lái)監(jiān)督、檢查、協(xié)調(diào)多個(gè)相關(guān)職能部門(mén)的目標(biāo)，從而優(yōu)化、保護(hù)和利用大數(shù)據(jù)，保障其作為一項(xiàng)企業(yè)戰(zhàn)略資產(chǎn)真正發(fā)揮價(jià)值。

2. 大數(shù)據(jù)的治理是IT治理的組成部分，大數(shù)據(jù)的審計(jì)是IT審計(jì)的組成部分，這個(gè)體系要統(tǒng)籌規(guī)劃和實(shí)施，而不是割裂的規(guī)劃和實(shí)施。

3. 大數(shù)據(jù)的審計(jì)、治理與控制的核心是數(shù)據(jù)安全、數(shù)據(jù)質(zhì)量和數(shù)據(jù)效率。

九、 持續(xù)改進(jìn)

基于不斷變化的業(yè)務(wù)需求和審計(jì)與治理中發(fā)現(xiàn)的大數(shù)據(jù)整個(gè)生命周期中暴露的問(wèn)題，引入PDCA等方法論，去不斷優(yōu)化策略、方法、流程、工具，不斷提升相關(guān)人員的技能，從而確保大數(shù)據(jù)戰(zhàn)略的持續(xù)成功！

原文鏈接：http://blog.sina.com.cn/s/blog_7ebc43250101afxg.html

【編輯推薦】