說到大數(shù)據(jù)，有一個網(wǎng)上流傳已久的段子：

[[185719]]

這個段子雖然是調(diào)侃，但是的確極其準(zhǔn)確的反應(yīng)了機(jī)構(gòu)大數(shù)據(jù)之路的現(xiàn)狀和尷尬處境：現(xiàn)在的大環(huán)境是上至相關(guān)領(lǐng)導(dǎo)，下至基層員工都知道大數(shù)據(jù)的重要性。但是落實(shí)到實(shí)施，很多機(jī)構(gòu)、企業(yè)都面臨相同的困境：自己大數(shù)據(jù)發(fā)展的方法論和落地支點(diǎn)到底在哪里?他山之石如何攻己之玉?我的大數(shù)據(jù)之路在何方?這些都是困擾機(jī)構(gòu)大數(shù)據(jù)項(xiàng)目的難題。

[[185720]]

帶著這些問題，筆者分析了現(xiàn)今市場上一些典型的行業(yè)和企業(yè)案例(覆蓋互聯(lián)網(wǎng)、政府、金融、通信、電子商務(wù)和大型企業(yè))和自己過去十幾年服務(wù)過的總計(jì)近百家機(jī)構(gòu)和企業(yè)的大數(shù)據(jù)發(fā)展之路，試圖找出其成敗的關(guān)鍵因素。最終筆者發(fā)現(xiàn)，機(jī)構(gòu)大數(shù)據(jù)之路的關(guān)鍵點(diǎn)可以如下圖所示，即業(yè)務(wù)能力(3個基礎(chǔ)支點(diǎn))、技術(shù)能力(3個難點(diǎn))和整合能力：

一個機(jī)構(gòu)或企業(yè)要做好自己的大數(shù)據(jù)應(yīng)用，業(yè)務(wù)層面首先要做好各個業(yè)務(wù)系統(tǒng)和業(yè)務(wù)數(shù)據(jù)平臺的建設(shè)和規(guī)劃，在此基礎(chǔ)上做好合適自己的數(shù)據(jù)運(yùn)營支撐體系。中國大多數(shù)機(jī)構(gòu)和企業(yè)從八十年代開始信息化，其中互聯(lián)網(wǎng)、電子商務(wù)、金融、通信行業(yè)發(fā)展比較充分，業(yè)務(wù)系統(tǒng)和業(yè)務(wù)數(shù)據(jù)平臺建設(shè)整體規(guī)劃相對比較完善;而政府和大型企業(yè)等方面的發(fā)展?fàn)顩r則參差不齊。

在技術(shù)層面，大數(shù)據(jù)項(xiàng)目有別于傳統(tǒng)IT項(xiàng)目，要求具備一定的搜索、商業(yè)智能和人工智能等技術(shù)在業(yè)務(wù)系統(tǒng)中運(yùn)用的能力。這三項(xiàng)技術(shù)對技術(shù)人員專業(yè)性的要求比較高(和普通的根據(jù)業(yè)務(wù)需求編程完全不同，必須有專業(yè)的know how，否則會走很多彎路付出巨大代價，甚至決定項(xiàng)目的成敗)。在相關(guān)人才缺乏的市場環(huán)境下，由于眾多VC支撐的新興互聯(lián)網(wǎng)公司高薪瘋搶和囤積相關(guān)人才，使得在傳統(tǒng)IT意識下運(yùn)營操作的機(jī)構(gòu)大數(shù)據(jù)項(xiàng)目一將難求，舉步維艱。技術(shù)人才變成了機(jī)構(gòu)客戶難以逾越的門檻。

在業(yè)務(wù)和技術(shù)能力的基礎(chǔ)上，機(jī)構(gòu)大數(shù)據(jù)應(yīng)用若要起飛還需要從管理、組織機(jī)構(gòu)和企業(yè)文化的角度建立起自己的運(yùn)營支撐體系，讓相關(guān)項(xiàng)目能夠在機(jī)構(gòu)內(nèi)進(jìn)入一個良性循環(huán)的路徑。

由此可見，要落實(shí)好大數(shù)據(jù)應(yīng)用，機(jī)構(gòu)必或企業(yè)須做好發(fā)生綜合性轉(zhuǎn)變的思想準(zhǔn)備。這種轉(zhuǎn)變是一個系統(tǒng)工程而不是傳統(tǒng)意義上的IT項(xiàng)目，更不是簡單的技術(shù)算法工作。以下詳細(xì)說明上述三個關(guān)鍵點(diǎn)。

業(yè)務(wù)體系的建設(shè)和運(yùn)營能力是大數(shù)據(jù)應(yīng)用的基礎(chǔ)

機(jī)構(gòu)要做好自己的大數(shù)據(jù)應(yīng)用，業(yè)務(wù)系統(tǒng)和業(yè)務(wù)數(shù)據(jù)建設(shè)是基礎(chǔ)。金融和電信行業(yè)的機(jī)構(gòu)前些年都建設(shè)了自己的數(shù)據(jù)平臺(例如數(shù)據(jù)倉庫，MDM等相關(guān)項(xiàng)目)，情況相對比較良好。其他機(jī)構(gòu)客戶這方面差異比較大，這取決于機(jī)構(gòu)自身過去的IT投入和發(fā)展?fàn)顩r。但是傳統(tǒng)的信息化和IT建設(shè)在業(yè)務(wù)系統(tǒng)建設(shè)中比較強(qiáng)調(diào)業(yè)務(wù)流和數(shù)據(jù)管理，往往會忽略了站在整個機(jī)構(gòu)角度的數(shù)據(jù)鏈完整性設(shè)計(jì);而機(jī)構(gòu)業(yè)務(wù)數(shù)據(jù)鏈體系是否具有完備，是機(jī)構(gòu)大數(shù)據(jù)應(yīng)用引擎啟動的奠基石，非常之重要!機(jī)構(gòu)客戶啟動大數(shù)據(jù)項(xiàng)目必須從數(shù)據(jù)鏈的角度拷問已有的業(yè)務(wù)和數(shù)據(jù)體系。

筆者建議，正在策劃和推進(jìn)大數(shù)據(jù)項(xiàng)目的機(jī)構(gòu)一定要對自身業(yè)務(wù)系統(tǒng)發(fā)展?fàn)顟B(tài)、業(yè)務(wù)數(shù)據(jù)平臺建設(shè)狀態(tài)和數(shù)據(jù)運(yùn)營能力有一個清晰的認(rèn)知，并根據(jù)自身的狀況設(shè)置可實(shí)現(xiàn)的“一個億”小目標(biāo)。

技術(shù)能力是大數(shù)據(jù)應(yīng)用的核心支撐

做好機(jī)構(gòu)大數(shù)據(jù)應(yīng)用的技術(shù)關(guān)鍵點(diǎn)到達(dá)是什么?微軟大數(shù)據(jù)研究中心的一位專家有這樣的觀點(diǎn)：“hadoop, spark, HBase 等技術(shù)都是實(shí)現(xiàn)手段和IT構(gòu)架元素，大數(shù)據(jù)關(guān)鍵技術(shù)60%是搜索，40%是商業(yè)智能和人工智能。。。”。根據(jù)多年服務(wù)于不同行業(yè)客戶的實(shí)踐，我很認(rèn)同這個說法。當(dāng)然這里的搜索不是一般人理解的類似百度這樣的搜索， 有一個專業(yè)的詞叫做“企業(yè)搜索”- Enterprise Search。

【筆者注：百度等搜索我通常愿意稱之為互聯(lián)網(wǎng)搜索——也就是搜索技術(shù)針對互聯(lián)網(wǎng)網(wǎng)頁內(nèi)容和百度等公司業(yè)務(wù)模式的一個業(yè)務(wù)應(yīng)用(或者行業(yè)應(yīng)用)。搜索技術(shù)本身也不限于很多人理解的全文搜索，分類、推薦、數(shù)據(jù)抓取、挖掘均屬于搜索技術(shù)范疇。大家有興趣我們可以在后續(xù)文章中探討。】

搜索為什么這么重要?根據(jù)Gartner等機(jī)構(gòu)的長期研究，一個機(jī)構(gòu)內(nèi)部數(shù)據(jù)構(gòu)成如下圖所示，20%結(jié)構(gòu)化， 80%非結(jié)構(gòu)化。數(shù)據(jù)庫技術(shù)是對20%的結(jié)構(gòu)化數(shù)據(jù)管理、挖掘和交互的理想技術(shù)。但是數(shù)據(jù)庫技術(shù)運(yùn)用到占80%的非結(jié)構(gòu)化數(shù)據(jù)上，其效率和能力將隨數(shù)據(jù)量的增長而呈指數(shù)性下降。企業(yè)搜索技術(shù)正好完美補(bǔ)充了數(shù)據(jù)庫技術(shù)的這個空缺。而在大數(shù)據(jù)的世界里，結(jié)構(gòu)化信息和非結(jié)構(gòu)化信息是同等重要的，由此可以看出搜索的重要性不言而喻了。

除了搜索外，商業(yè)智能也是機(jī)構(gòu)大數(shù)據(jù)項(xiàng)目技術(shù)能力的另一個重要因素。在電信和金融領(lǐng)域，商業(yè)智能已經(jīng)有比較廣泛的應(yīng)用，但是主流都是基于結(jié)構(gòu)化數(shù)據(jù)的解決方案。大數(shù)據(jù)時代的到來要求老的商業(yè)智能必須拓展底層數(shù)據(jù)的覆蓋范圍至非結(jié)構(gòu)化數(shù)據(jù)部分，從而也帶來了新的挑戰(zhàn)。

人工智能、特別是機(jī)器學(xué)習(xí)在數(shù)據(jù)層面可以很好的支撐和提升數(shù)據(jù)挖掘、分類和信息關(guān)聯(lián);在業(yè)務(wù)層面，則可以更智能的滿足管理運(yùn)營、營銷和戰(zhàn)略決策需求，也是大數(shù)據(jù)體系落實(shí)到具體業(yè)務(wù)系統(tǒng)必須面對和掌握的技術(shù)關(guān)鍵。

盡管搜索、商業(yè)智能和人工智能這三項(xiàng)技術(shù)是機(jī)構(gòu)大數(shù)據(jù)業(yè)務(wù)的三個重點(diǎn)和難點(diǎn)，且在起步階段門檻較高，但值得慶幸的是，除了搜索，商業(yè)智能和人工智能在很多初期大數(shù)據(jù)項(xiàng)目中并不是必須品;另外這三個領(lǐng)域都已發(fā)展很多年，市場上也有很多商業(yè)和開源的解決方案產(chǎn)品可以選擇，理論和算法上也有很多研究成果可以借用。用戶在明確和清晰化自己的大數(shù)據(jù)規(guī)劃之后，這些難點(diǎn)是可以在有限成本投入的情況下逾越和突破的。

別讓整合能力成為大數(shù)據(jù)系統(tǒng)工程的短板

是否有了業(yè)務(wù)能力的儲備，解決好關(guān)鍵技術(shù)落地問題，機(jī)構(gòu)大數(shù)據(jù)項(xiàng)目就坦途一片了呢?前面我們已經(jīng)談到機(jī)構(gòu)大數(shù)據(jù)項(xiàng)目是一個系統(tǒng)工程。其原因是我們發(fā)現(xiàn)大數(shù)據(jù)業(yè)務(wù)做得好的機(jī)構(gòu)，其大數(shù)據(jù)推進(jìn)過程中涉及的面不僅包括業(yè)務(wù)、數(shù)據(jù)、運(yùn)營和技術(shù)，還包括管理、組織結(jié)構(gòu)、機(jī)構(gòu)工作文化和團(tuán)隊(duì)建設(shè)問題。這其實(shí)是對一個機(jī)構(gòu)的綜合整合能力的考驗(yàn)!

這里我想通過分析兩個案例來說明我的觀察和觀點(diǎn)：

案例一：某知名電商，通過多年的自身投入和并購累計(jì)了大量的經(jīng)驗(yàn)和人才，其大數(shù)據(jù)已可有效支撐電子商務(wù)的很多關(guān)鍵業(yè)務(wù)，如精準(zhǔn)營銷(SEO, SEM, DSP投放)、會員營銷、聯(lián)盟營銷、站內(nèi)搜索和商品管理等，但是運(yùn)行起來依舊存在很多問題。筆者經(jīng)過調(diào)研發(fā)現(xiàn)，公司管理層面存在大數(shù)據(jù)團(tuán)隊(duì)建設(shè)重疊(內(nèi)部就總監(jiān)級別帶領(lǐng)的大數(shù)據(jù)團(tuán)隊(duì)就有三個，而這三個團(tuán)隊(duì)的總監(jiān)并無密切合作);IT落地未能閉合核心數(shù)據(jù)鏈(公司投資數(shù)百萬在國際知名軟件廠家產(chǎn)品基礎(chǔ)上搭建的相關(guān)產(chǎn)品推薦也存在嚴(yán)重實(shí)施缺陷);電商核心業(yè)務(wù)KPI所需的職責(zé)界定和人員投入反倒顯得很不充分。筆者在這個案例里發(fā)現(xiàn)的很多問題涉及的是企業(yè)文化、管理、運(yùn)營相關(guān)的組織結(jié)構(gòu)和團(tuán)隊(duì)建設(shè)問題，和前面兩部分討論的業(yè)務(wù)體系能力和技術(shù)能力并無太大關(guān)系。現(xiàn)在看來該電商高額的投入由于自身整合能力的問題并未及時獲得應(yīng)有的產(chǎn)出，在電商戰(zhàn)場上最終喪失了很多機(jī)會。

案例二：這是一個有點(diǎn)黑色幽默的成功案例：某新興媒體公司化重金從某傳統(tǒng)互聯(lián)網(wǎng)公司挖了兩個關(guān)鍵人物，搭建自己的技術(shù)和運(yùn)營體系。系統(tǒng)上線后，各種原因，不盡人意。矛盾焦點(diǎn)聚焦在這兩個技術(shù)運(yùn)營大牛身上。CEO在平衡了各方意見后狠心裁掉了這兩個高薪大牛。在大牛離職后幾個月時間里，在沒有主要更新升級的情況下，目標(biāo)業(yè)務(wù)數(shù)據(jù)開始越來越好：大牛們搭建大數(shù)據(jù)解決方案效果開始凸顯!CEO方知自己過于急躁，錯失良將。大數(shù)據(jù)這條路雖然充滿魅力，但有時候需要的是多一點(diǎn)的耐心和契合實(shí)際的期望值!

涉及到管理、組織結(jié)構(gòu)調(diào)整和機(jī)構(gòu)文化團(tuán)隊(duì)建設(shè)的機(jī)構(gòu)整合能力，是促成機(jī)構(gòu)大數(shù)據(jù)項(xiàng)目起飛的重要因素。其需要的不光是大數(shù)據(jù)團(tuán)隊(duì)的努力，相關(guān)管理團(tuán)隊(duì)的正確認(rèn)知和支持也是大數(shù)據(jù)項(xiàng)目成敗的重要因素。

結(jié)束語

大數(shù)據(jù)雖然像青少年的“sex life”，充滿魅力和迷惑挑戰(zhàn)，但也是機(jī)構(gòu)和企業(yè)必須面對和經(jīng)歷的歷程。大數(shù)據(jù)之路對機(jī)構(gòu)和企業(yè)來說是一種需要集體信念支撐的選擇。筆者認(rèn)為機(jī)構(gòu)無論自身業(yè)務(wù)、技術(shù)和整合能力現(xiàn)階段如何，只要能真正根據(jù)自身發(fā)展階段，制定適合自己的相對長期大數(shù)據(jù)發(fā)展策略，設(shè)定現(xiàn)實(shí)可實(shí)現(xiàn)的“小目標(biāo)”，小步快跑，進(jìn)入大數(shù)據(jù)業(yè)務(wù)發(fā)展的正向軌道，則一定能夠到達(dá)勝利的彼岸， 迎來屬于自己的大數(shù)據(jù)春天。

【本文為51CTO專欄作者“黃浩”原創(chuàng)稿件，轉(zhuǎn)載請聯(lián)系原作者】