[[202728]]

在2017年的下半年談?wù)摯髷?shù)據(jù)似乎已經(jīng)沒(méi)有什么新意，甚至有些令人生厭了，畢竟這個(gè)詞在中國(guó)已經(jīng)流行太久，形形色色的產(chǎn)品、平臺(tái)和公司早已貼滿了大數(shù)據(jù)標(biāo)簽，而真正有價(jià)值的創(chuàng)新永遠(yuǎn)都是少數(shù)。

行業(yè)對(duì)于大數(shù)據(jù)的認(rèn)知開(kāi)始變得更加理性和客觀，這是一種成熟的表現(xiàn)。但如果因此就認(rèn)為大數(shù)據(jù)時(shí)代已經(jīng)進(jìn)入風(fēng)平浪靜的“發(fā)展期”，那么我們很可能會(huì)錯(cuò)過(guò)一場(chǎng)更加波瀾壯闊的變革。

被忽視的非結(jié)構(gòu)化數(shù)據(jù)

在過(guò)去幾年，大數(shù)據(jù)產(chǎn)業(yè)更多關(guān)注的是如何處理海量、多源和異構(gòu)的數(shù)據(jù)，并從中獲得價(jià)值，而其中絕大多數(shù)都是結(jié)構(gòu)化數(shù)據(jù)。不可否認(rèn)，這些數(shù)據(jù)的體量足夠巨大，然而我們今天必須承認(rèn)這些只是冰山一角——行業(yè)公認(rèn)的數(shù)據(jù)是，結(jié)構(gòu)化數(shù)據(jù)僅占到全部數(shù)據(jù)量的20%，其余80%都是以文件形式存在的非結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù)，包括各種辦公文檔、圖片、視頻、音頻、設(shè)計(jì)文檔、日志文件、機(jī)器數(shù)據(jù)等，這些數(shù)據(jù)如同“暗網(wǎng)”一般地沉默著。可以想象，如果我們只閱讀了一本書的五分之一，又如何正確理解這本書的含義呢?

非結(jié)構(gòu)化數(shù)據(jù)占數(shù)據(jù)總量的80%以上

事實(shí)上，過(guò)去大家并非有意忽視非結(jié)構(gòu)化數(shù)據(jù)，而是受到一些條件的制約和影響，不得不策略性地“放棄”這部分?jǐn)?shù)據(jù)：

1、存儲(chǔ)資源受限，大量數(shù)據(jù)被拋棄

非結(jié)構(gòu)化數(shù)據(jù)體量巨大并且產(chǎn)生速度非常快，需要占用大量的存儲(chǔ)資源，而存儲(chǔ)成本降低也只是最近幾年的事情，大量數(shù)據(jù)還沒(méi)有加以分析和利用就被早早拋棄，以便為新產(chǎn)生的數(shù)據(jù)騰出空間;

2、數(shù)據(jù)體量大，獲取和流轉(zhuǎn)困難

對(duì)于已經(jīng)保留下來(lái)的非結(jié)構(gòu)化數(shù)據(jù)，真要去使用和處理它，依然是一項(xiàng)不討好的“體力活兒”。由于體量、距離和網(wǎng)速的原因，非結(jié)構(gòu)化數(shù)據(jù)并不容易獲得，更不要說(shuō)被靈活地放入業(yè)務(wù)分析和處理流程之中了;

3、缺乏處理分析的技術(shù)手段

非結(jié)構(gòu)化數(shù)據(jù)的價(jià)值密度相對(duì)較低，缺乏有效的技術(shù)對(duì)非結(jié)構(gòu)化數(shù)據(jù)進(jìn)行處理和分析，面對(duì)海量文件數(shù)據(jù)束手無(wú)策。相比之下，結(jié)構(gòu)化數(shù)據(jù)更容易入手，優(yōu)先處理結(jié)構(gòu)化數(shù)據(jù)也是非常合情合理的。

結(jié)構(gòu)化數(shù)據(jù)的局限性

然而在對(duì)結(jié)構(gòu)化數(shù)據(jù)進(jìn)行分析和挖掘的過(guò)程中，我們?cè)絹?lái)越多地發(fā)現(xiàn)一些新的問(wèn)題，甚至已經(jīng)造成很大困擾：

1、結(jié)構(gòu)化數(shù)據(jù)可能在“說(shuō)謊”

結(jié)構(gòu)化數(shù)據(jù)的優(yōu)點(diǎn)在于便于統(tǒng)計(jì)和處理，包括結(jié)構(gòu)化數(shù)據(jù)的形成本身就可能來(lái)自于統(tǒng)計(jì)。而統(tǒng)計(jì)并不能代表全部信息，必然存在一定程度的損耗，并帶來(lái)誤導(dǎo)。這也是為什么有些時(shí)候明明看似得出了合理的結(jié)論，卻不能有效改進(jìn)我們的業(yè)務(wù)。

相比之下，非結(jié)構(gòu)化數(shù)據(jù)則“誠(chéng)實(shí)”得多，通常包含了完整而連續(xù)的信息，其中充滿了大量微小但卻非常關(guān)鍵的細(xì)節(jié)，而這些數(shù)據(jù)將成為我們信息來(lái)源的重要組成部分，甚至?xí)鸬經(jīng)Q定性的作用。

2、僅有結(jié)構(gòu)化數(shù)據(jù)的世界簡(jiǎn)直太乏味了

人類先天是感性的生物，我們都喜歡豐富多彩的世界，它應(yīng)該是立體而全方位的，包含了多種感官的信息和刺激，而不僅僅是枯燥的數(shù)字。很多時(shí)候我們發(fā)現(xiàn)，無(wú)論是從受眾的接受程度還是所傳遞的信息量來(lái)看，即便是再酷炫的統(tǒng)計(jì)圖表，也抵不過(guò)一分鐘生動(dòng)的視頻。這一點(diǎn)從各大企業(yè)官方網(wǎng)站的變化中，就能明顯地感受到。

另外，值得注意的是，人類對(duì)于結(jié)構(gòu)化數(shù)據(jù)的運(yùn)用由來(lái)已久。比如在企業(yè)級(jí)市場(chǎng)，包括ERP、CRM、MRP等管理軟件一向都屬于這一范疇，而所謂的大數(shù)據(jù)應(yīng)用只是一個(gè)更高級(jí)的階段而已。因此，從實(shí)際的技術(shù)發(fā)展和應(yīng)用水平的角度來(lái)看，結(jié)構(gòu)化數(shù)據(jù)市場(chǎng)是相當(dāng)成熟的，也會(huì)愈發(fā)平穩(wěn)。比如賽迪在今年5月發(fā)布的一份報(bào)告就顯示，以ERP和CRM為代表的結(jié)構(gòu)化數(shù)據(jù)市場(chǎng)增速放緩，相比之下非結(jié)構(gòu)化數(shù)據(jù)市場(chǎng)的代表ECM(企業(yè)內(nèi)容管理)則表現(xiàn)出強(qiáng)勁的增長(zhǎng)動(dòng)力。我想這也在一定程度上反映了市場(chǎng)的看法和整體的趨勢(shì)。

2011-2016年CRM軟件、ERP軟件和ECM軟件市場(chǎng)規(guī)模增速對(duì)比

未來(lái)世界將是非結(jié)構(gòu)化的

世界隨時(shí)都在發(fā)生變化，時(shí)至今日，對(duì)非結(jié)構(gòu)化數(shù)據(jù)的管理和應(yīng)用走到了一個(gè)重要關(guān)口。

一方面得益于存儲(chǔ)成本的下降。隨著存儲(chǔ)技術(shù)和公有云平臺(tái)的不斷發(fā)展和成熟，用戶可以擁有充足并且彈性可擴(kuò)展的存儲(chǔ)資源，用于存放更大量的非結(jié)構(gòu)化數(shù)據(jù)，從而使得非結(jié)構(gòu)化數(shù)據(jù)的積累和應(yīng)用成為可能。

Hype Cycle for Storage Technologies,2016,Gartner

另一方面，新興技術(shù)的快速發(fā)展也提高了行業(yè)對(duì)非結(jié)構(gòu)化數(shù)據(jù)的重視程度。比如物聯(lián)網(wǎng)、工業(yè)4.0、視頻直播等領(lǐng)域的發(fā)展產(chǎn)生了更多的非結(jié)構(gòu)化數(shù)據(jù)，而人工智能、機(jī)器學(xué)習(xí)、語(yǔ)義分析、圖像識(shí)別等技術(shù)方向則需要大量的非結(jié)構(gòu)化數(shù)據(jù)來(lái)開(kāi)展工作，包括數(shù)據(jù)庫(kù)系統(tǒng)也在不斷向非結(jié)構(gòu)化延伸。一推一拉之間，都要求我們以新的視角和方法去面對(duì)非結(jié)構(gòu)化數(shù)據(jù)。

因此，未來(lái)對(duì)大數(shù)據(jù)的分析和應(yīng)用將從結(jié)構(gòu)化數(shù)據(jù)向非結(jié)構(gòu)化數(shù)據(jù)轉(zhuǎn)移，無(wú)論是消費(fèi)級(jí)市場(chǎng)還是企業(yè)級(jí)市場(chǎng)，都會(huì)試圖生產(chǎn)和采集更多的非結(jié)構(gòu)化數(shù)據(jù)，并從中發(fā)掘商業(yè)價(jià)值。誰(shuí)能夠最先積累更多的數(shù)據(jù)，誰(shuí)能夠最先從中學(xué)到知識(shí)，誰(shuí)就會(huì)領(lǐng)先一步，率先占領(lǐng)未知的空間。

非結(jié)構(gòu)化數(shù)據(jù)帶來(lái)的新機(jī)會(huì)

作為大數(shù)據(jù)產(chǎn)業(yè)的重要組成部分，甚至應(yīng)該是產(chǎn)業(yè)的主體，非結(jié)構(gòu)化數(shù)據(jù)一旦受到重視，注定將帶來(lái)前所未有的發(fā)展機(jī)遇，吹響大數(shù)據(jù)時(shí)代下半場(chǎng)比賽的哨音。

在結(jié)構(gòu)化數(shù)據(jù)為主導(dǎo)的階段，大量的企業(yè)通過(guò)圍繞結(jié)構(gòu)化數(shù)據(jù)提供產(chǎn)品和服務(wù)，最終成長(zhǎng)為行業(yè)巨頭，并建立了穩(wěn)固的競(jìng)爭(zhēng)壁壘。而新興的非結(jié)構(gòu)化數(shù)據(jù)市場(chǎng)將給更多企業(yè)，尤其是創(chuàng)新型企業(yè)，帶來(lái)百年一遇的彎道超車的機(jī)會(huì)。想一想特斯拉的電動(dòng)汽車，你一定會(huì)理解我說(shuō)的意思。

同時(shí)，由于非結(jié)構(gòu)化數(shù)據(jù)的自身特征與結(jié)構(gòu)化數(shù)據(jù)有著本質(zhì)的差異，導(dǎo)致這場(chǎng)變革將是全鏈條的——從數(shù)據(jù)的生產(chǎn)、存儲(chǔ)、流轉(zhuǎn)、加工、處理，到最終的分析、應(yīng)用和輸出，無(wú)不和傳統(tǒng)模式有著天壤之別。而在其中任何一個(gè)環(huán)節(jié)，都可能出現(xiàn)顛覆性的技術(shù)和模式，甚至形成獨(dú)立的規(guī)模化賽道。因此，這一過(guò)程中所產(chǎn)生的機(jī)會(huì)和市場(chǎng)空間將是巨大的，我們甚至已經(jīng)能夠預(yù)見(jiàn)到一個(gè)百花齊放的新時(shí)代。

可以想象，當(dāng)我們對(duì)非結(jié)構(gòu)化數(shù)據(jù)有了足夠的控制力，并能夠充分利用的時(shí)候，我們得到的將是一個(gè)更加完整和富有生命力的世界。這個(gè)世界，事實(shí)上已經(jīng)并不遙遠(yuǎn)。