大數(shù)據(jù)的定義與特征

大數(shù)據(jù)(big data)是這樣的數(shù)據(jù)集合：數(shù)據(jù)量增長(zhǎng)速度極快，用常規(guī)的數(shù)據(jù)工具無(wú)法在一定的時(shí)間內(nèi)進(jìn)行采集、處理、存儲(chǔ)和計(jì)算的數(shù)據(jù)集合。

作者認(rèn)為具有以下五大特征(4V+1O)的數(shù)據(jù)才稱之為大數(shù)據(jù)，即：

數(shù)據(jù)量大(Volume)。第一個(gè)特征是數(shù)據(jù)量大，包括采集、存儲(chǔ)和計(jì)算的量都非常大。大數(shù)據(jù)的起始計(jì)量單位至少是P(1000個(gè)T)、E(100萬(wàn)個(gè)T)或Z(10億個(gè)T)。

類型繁多(Variety)。第二個(gè)特征是種類和來(lái)源多樣化。包括結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)，具體表現(xiàn)為網(wǎng)絡(luò)日志、音頻、視頻、圖片、地理位置信息等等，多類型的數(shù)據(jù)對(duì)數(shù)據(jù)的處理能力提出了更高的要求。

價(jià)值密度低(Value)。第三個(gè)特征是數(shù)據(jù)價(jià)值密度相對(duì)較低，或者說(shuō)是浪里淘沙卻又彌足珍貴。隨著互聯(lián)網(wǎng)以及物聯(lián)網(wǎng)的廣泛應(yīng)用，信息感知無(wú)處不在，信息海量，但價(jià)值密度較低，如何結(jié)合業(yè)務(wù)邏輯并通過(guò)強(qiáng)大的機(jī)器算法來(lái)挖掘數(shù)據(jù)價(jià)值，是大數(shù)據(jù)時(shí)代最需要解決的問(wèn)題。

速度快時(shí)效高(Velocity)。第四個(gè)特征數(shù)據(jù)增長(zhǎng)速度快，處理速度也快，時(shí)效性要求高。比如搜索引擎要求幾分鐘前的新聞能夠被用戶查詢到，個(gè)性化推薦算法盡可能要求實(shí)時(shí)完成推薦。這是大數(shù)據(jù)區(qū)別于傳統(tǒng)數(shù)據(jù)挖掘的顯著特征。

數(shù)據(jù)是在線的(Online)。數(shù)據(jù)是永遠(yuǎn)在線的，是隨時(shí)能調(diào)用和計(jì)算的，這是大數(shù)據(jù)區(qū)別于傳統(tǒng)數(shù)據(jù)最大的特征?，F(xiàn)在我們所談到的大數(shù)據(jù)不僅僅是大，更重要的是數(shù)據(jù)變的在線了，這是互聯(lián)網(wǎng)高速發(fā)展背景下的特點(diǎn)。比如，對(duì)于打車工具，客戶的數(shù)據(jù)和出租司機(jī)數(shù)據(jù)都是實(shí)時(shí)在線的，這樣的數(shù)據(jù)才有意義。如果是放在磁盤(pán)中而且是離線的，這些數(shù)據(jù)遠(yuǎn)遠(yuǎn)不如在線的商業(yè)價(jià)值大。

關(guān)于大數(shù)據(jù)特征方面，特別要強(qiáng)調(diào)的一點(diǎn)是數(shù)據(jù)是在線的，因?yàn)楹芏嗳苏J(rèn)為數(shù)據(jù)量大就是大數(shù)據(jù)，往往忽略了大數(shù)據(jù)的在線特性。數(shù)據(jù)只有在線，即數(shù)據(jù)在與產(chǎn)品用戶或者客戶產(chǎn)生連接的時(shí)候才有意義。如某用戶在使用某互聯(lián)網(wǎng)應(yīng)用時(shí)，其行為及時(shí)的傳給數(shù)據(jù)使用方，數(shù)據(jù)使用方通過(guò)某種有效加工后(通過(guò)數(shù)據(jù)分析或者數(shù)據(jù)挖掘進(jìn)行加工)，進(jìn)行該應(yīng)用的推送內(nèi)容的優(yōu)化，把用戶最想看到的內(nèi)容推送給用戶，也提升了用戶的使用體驗(yàn)。

大數(shù)據(jù)發(fā)展過(guò)程的重大事件

2005年Hadoop項(xiàng)目誕生。 Hadoop其最初只是雅虎公司用來(lái)解決網(wǎng)頁(yè)搜索問(wèn)題的一個(gè)項(xiàng)目，后來(lái)因其技術(shù)的高效性，被Apache Software Foundation公司引入并成為開(kāi)源應(yīng)用。Hadoop本身不是一個(gè)產(chǎn)品，而是由多個(gè)軟件產(chǎn)品組成的一個(gè)生態(tài)系統(tǒng)，這些軟件產(chǎn)品共同實(shí)現(xiàn)全面功能和靈活的大數(shù)據(jù)分析。從技術(shù)上看，Hadoop由兩項(xiàng)關(guān)鍵服務(wù)構(gòu)成：采用Hadoop分布式文件系統(tǒng)(HDFS)的可靠數(shù)據(jù)存儲(chǔ)服務(wù)，以及利用一種叫做MapReduce技術(shù)的高性能并行數(shù)據(jù)處理服務(wù)。這兩項(xiàng)服務(wù)的共同目標(biāo)是，提供一個(gè)使對(duì)結(jié)構(gòu)化和復(fù)雜數(shù)據(jù)的快速、可靠分析變?yōu)楝F(xiàn)實(shí)的基礎(chǔ)。

2008年末，“大數(shù)據(jù)”得到部分美國(guó)知名計(jì)算機(jī)科學(xué)研究人員的認(rèn)可，業(yè)界組織計(jì)算社區(qū)聯(lián)盟 (Computing Community Consortium)，發(fā)表了一份有影響力的白皮書(shū)《大數(shù)據(jù)計(jì)算：在商務(wù)、科學(xué)和社會(huì)領(lǐng)域創(chuàng)建革命性突破》。它使人們的思維不僅局限于數(shù)據(jù)處理的機(jī)器，并提出：大數(shù)據(jù)真正重要的是新用途和新見(jiàn)解，而非數(shù)據(jù)本身。此組織可以說(shuō)是最早提出大數(shù)據(jù)概念的機(jī)構(gòu)。

2009年印度政府建立了用于身份識(shí)別管理的生物識(shí)別數(shù)據(jù)庫(kù)，聯(lián)合國(guó)全球脈沖項(xiàng)目已研究了對(duì)如何利用手機(jī)和社交網(wǎng)站的數(shù)據(jù)源來(lái)分析預(yù)測(cè)從螺旋價(jià)格到疾病爆發(fā)之類的問(wèn)題。

2009年中，美國(guó)政府通過(guò)啟動(dòng)Data.gov網(wǎng)站的方式進(jìn)一步開(kāi)放了數(shù)據(jù)的大門(mén)，這個(gè)網(wǎng)站向公眾提供各種各樣的政府?dāng)?shù)據(jù)。該網(wǎng)站的超過(guò)4.45萬(wàn)量數(shù)據(jù)集被用于保證一些網(wǎng)站和智能手機(jī)應(yīng)用程序來(lái)跟蹤從航班到產(chǎn)品召回再到特定區(qū)域內(nèi)失業(yè)率的信息，這一行動(dòng)激發(fā)了從肯尼亞到英國(guó)范圍內(nèi)的政府們相繼推出類似舉措。

2009年，歐洲一些領(lǐng)先的研究型圖書(shū)館和科技信息研究機(jī)構(gòu)建立了伙伴關(guān)系致力于改善在互聯(lián)網(wǎng)上獲取科學(xué)數(shù)據(jù)的簡(jiǎn)易性。

2010年2月，肯尼斯ž庫(kù)克爾在《經(jīng)濟(jì)學(xué)人》上發(fā)表了長(zhǎng)達(dá)14頁(yè)的大數(shù)據(jù)專題報(bào)告《數(shù)據(jù)，無(wú)所不在的數(shù)據(jù)》。庫(kù)克爾在報(bào)告中提到：“世界上有著無(wú)法想象的巨量數(shù)字信息，并以極快的速度增長(zhǎng)。從經(jīng)濟(jì)界到科學(xué)界，從政府部門(mén)到藝術(shù)領(lǐng)域，很多方面都已經(jīng)感受到了這種巨量信息的影響?？茖W(xué)家和計(jì)算機(jī)工程師已經(jīng)為這個(gè)現(xiàn)象創(chuàng)造了一個(gè)新詞匯：“大數(shù)據(jù)”。庫(kù)克爾也因此成為最早洞見(jiàn)大數(shù)據(jù)時(shí)代趨勢(shì)的數(shù)據(jù)科學(xué)家之一。

2011年2月，IBM的沃森超級(jí)計(jì)算機(jī)每秒可掃描并分析4TB(約2億頁(yè)文字量)的數(shù)據(jù)量，并在美國(guó)著名智力競(jìng)賽電視節(jié)目《危險(xiǎn)邊緣》“Jeopardy”上擊敗兩名人類選手而奪冠。后來(lái)紐約時(shí)報(bào)認(rèn)為這一刻為一個(gè)“大數(shù)據(jù)計(jì)算的勝利。”

2011年5月，全球知名咨詢公司麥肯錫(McKinsey&Company)肯錫全球研究院(MGI)發(fā)布了一份報(bào)告——《大數(shù)據(jù)：創(chuàng)新、競(jìng)爭(zhēng)和生產(chǎn)力的下一個(gè)新領(lǐng)域》，大數(shù)據(jù)開(kāi)始備受關(guān)注，這也是專業(yè)機(jī)構(gòu)第一次全方面的介紹和展望大數(shù)據(jù)。報(bào)告指出，大數(shù)據(jù)已經(jīng)滲透到當(dāng)今每一個(gè)行業(yè)和業(yè)務(wù)職能領(lǐng)域，成為重要的生產(chǎn)因素。人們對(duì)于海量數(shù)據(jù)的挖掘和運(yùn)用，預(yù)示著新一波生產(chǎn)率增長(zhǎng)和消費(fèi)者盈余浪潮的到來(lái)。報(bào)告還提到，“大數(shù)據(jù)”源于數(shù)據(jù)生產(chǎn)和收集的能力和速度的大幅提升——由于越來(lái)越多的人、設(shè)備和傳感器通過(guò)數(shù)字網(wǎng)絡(luò)連接起來(lái)，產(chǎn)生、傳送、分享和訪問(wèn)數(shù)據(jù)的能力也得到徹底變革。

2011年12 月，工信部發(fā)布的物聯(lián)網(wǎng)十二五規(guī)劃上，把信息處理技術(shù)作為4 項(xiàng)關(guān)鍵技術(shù)創(chuàng)新工程之一被提出來(lái)，其中包括了海量數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)挖掘、圖像視頻智能分析，這都是大數(shù)據(jù)的重要組成部分。

2012年1月份，瑞士達(dá)沃斯召開(kāi)的世界經(jīng)濟(jì)論壇上，大數(shù)據(jù)是主題之一，會(huì)上發(fā)布的報(bào)告《大數(shù)據(jù)，大影響》(Big Data, Big Impact) 宣稱，數(shù)據(jù)已經(jīng)成為一種新的經(jīng)濟(jì)資產(chǎn)類別，就像貨幣或黃金一樣。

2012年3月，美國(guó)奧巴馬政府在白宮網(wǎng)站發(fā)布了《大數(shù)據(jù)研究和發(fā)展倡議》，這一倡議標(biāo)志著大數(shù)據(jù)已經(jīng)成為重要的時(shí)代特征。2012年3月22日，奧巴馬政府宣布2億美元投資大數(shù)據(jù)領(lǐng)域，是大數(shù)據(jù)技術(shù)從商業(yè)行為上升到國(guó)家科技戰(zhàn)略的分水嶺，在次日的電話會(huì)議中，政府對(duì)數(shù)據(jù)的定義“未來(lái)的新石油”，大數(shù)據(jù)技術(shù)領(lǐng)域的競(jìng)爭(zhēng)，事關(guān)國(guó)家安全和未來(lái)。并表示，國(guó)家層面的競(jìng)爭(zhēng)力將部分體現(xiàn)為一國(guó)擁有數(shù)據(jù)的規(guī)模、活性以及解釋、運(yùn)用的能力;國(guó)家數(shù)字主權(quán)體現(xiàn)對(duì)數(shù)據(jù)的占有和控制。數(shù)字主權(quán)將是繼邊防、海防、空防之后，另一個(gè)大國(guó)博弈的空間。

2012年4月，美國(guó)軟件公司Splunk于19日在納斯達(dá)克成功上市，成為第一家上市的大數(shù)據(jù)處理公司。鑒于美國(guó)經(jīng)濟(jì)持續(xù)低靡、股市持續(xù)震蕩的大背景，Splunk首日的突出交易表現(xiàn)尤其令人們印象深刻，首日即暴漲了一倍多。Splunk是一家領(lǐng)先的提供大數(shù)據(jù)監(jiān)測(cè)和分析服務(wù)的軟件提供商，成立于2003年。Splunk成功上市促進(jìn)了資本市場(chǎng)對(duì)大數(shù)據(jù)的關(guān)注，同時(shí)也促使IT廠商加快大數(shù)據(jù)布局。

2012年7月，聯(lián)合國(guó)在紐約發(fā)布了一份關(guān)于大數(shù)據(jù)政務(wù)的白皮書(shū)，總結(jié)了各國(guó)政府如何利用大數(shù)據(jù)更好地服務(wù)和保護(hù)人民。這份白皮書(shū)舉例說(shuō)明在一個(gè)數(shù)據(jù)生態(tài)系統(tǒng)中，個(gè)人、公共部門(mén)和私人部門(mén)各自的角色、動(dòng)機(jī)和需求：例如通過(guò)對(duì)價(jià)格關(guān)注和更好服務(wù)的渴望，個(gè)人提供數(shù)據(jù)和眾包信息，并對(duì)隱私和退出權(quán)力提出需求;公共部門(mén)出于改善服務(wù)，提升效益的目的，提供了諸如統(tǒng)計(jì)數(shù)據(jù)、設(shè)備信息，健康指標(biāo)，及稅務(wù)和消費(fèi)信息等，并對(duì)隱私和退出權(quán)力提出需求;私人部門(mén)出于提升客戶認(rèn)知和預(yù)測(cè)趨勢(shì)目的，提供匯總數(shù)據(jù)、消費(fèi)和使用信息，并對(duì)敏感數(shù)據(jù)所有權(quán)和商業(yè)模式更加關(guān)注。白皮書(shū)還指出，人們?nèi)缃窨梢允褂玫臉O大豐富的數(shù)據(jù)資源，包括舊數(shù)據(jù)和新數(shù)據(jù)，來(lái)對(duì)社會(huì)人口進(jìn)行前所未有的實(shí)時(shí)分析。聯(lián)合國(guó)還以愛(ài)爾蘭和美國(guó)的社交網(wǎng)絡(luò)活躍度增長(zhǎng)可以作為失業(yè)率上升的早期征兆為例，表明政府如果能合理分析所掌握的數(shù)據(jù)資源，將能“與數(shù)俱進(jìn)”，快速應(yīng)變。

2012年7月，為挖掘大數(shù)據(jù)的價(jià)值，阿里巴巴集團(tuán)在管理層設(shè)立“首席數(shù)據(jù)官”一職，負(fù)責(zé)全面推進(jìn)“數(shù)據(jù)分享平臺(tái)”戰(zhàn)略，并推出大型的數(shù)據(jù)分享平臺(tái)——“聚石塔”，為天貓、淘寶平臺(tái)上的電商及電商服務(wù)商等提供數(shù)據(jù)云服務(wù)。隨后，阿里巴巴董事局主席馬云在2012年網(wǎng)商大會(huì)上發(fā)表演講，稱從2013年1月1日起將轉(zhuǎn)型重塑平臺(tái)、金融和數(shù)據(jù)三大業(yè)務(wù)。馬云強(qiáng)調(diào)：“假如我們有一個(gè)數(shù)據(jù)預(yù)報(bào)臺(tái)，就像為企業(yè)裝上了一個(gè)GPS和雷達(dá)，你們出海將會(huì)更有把握。”因此，阿里巴巴集團(tuán)希望通過(guò)分享和挖掘海量數(shù)據(jù)，為國(guó)家和中小企業(yè)提供價(jià)值。此舉是國(guó)內(nèi)企業(yè)最早把大數(shù)據(jù)提升到企業(yè)管理層高度的一次重大里程碑。阿里巴巴也是最早提出通過(guò)數(shù)據(jù)進(jìn)行企業(yè)數(shù)據(jù)化運(yùn)營(yíng)的企業(yè)。

2014年4月，世界經(jīng)濟(jì)論壇以“大數(shù)據(jù)的回報(bào)與風(fēng)險(xiǎn)”主題發(fā)布了《全球信息技術(shù)報(bào)告(第13版)》。報(bào)告認(rèn)為，在未來(lái)幾年中針對(duì)各種信息通信技術(shù)的政策甚至?xí)@得更加重要。在接下來(lái)將對(duì)數(shù)據(jù)保密和網(wǎng)絡(luò)管制等議題展開(kāi)積極討論。全球大數(shù)據(jù)產(chǎn)業(yè)的日趨活躍，技術(shù)演進(jìn)和應(yīng)用創(chuàng)新的加速發(fā)展，使各國(guó)政府逐漸認(rèn)識(shí)到大數(shù)據(jù)在推動(dòng)經(jīng)濟(jì)發(fā)展、改善公共服務(wù)，增進(jìn)人民福祉，乃至保障國(guó)家安全方面的重大意義。

2014年5月，美國(guó)白宮發(fā)布了2014年全球“大數(shù)據(jù)”白皮書(shū)的研究報(bào)告《大數(shù)據(jù)：抓住機(jī)遇、守護(hù)價(jià)值》。報(bào)告鼓勵(lì)使用數(shù)據(jù)以推動(dòng)社會(huì)進(jìn)步，特別是在市場(chǎng)與現(xiàn)有的機(jī)構(gòu)并未以其他方式來(lái)支持這種進(jìn)步的領(lǐng)域;同時(shí)，也需要相應(yīng)的框架、結(jié)構(gòu)與研究，來(lái)幫助保護(hù)美國(guó)人對(duì)于保護(hù)個(gè)人隱私、確保公平或是防止歧視的堅(jiān)定信仰。

大數(shù)據(jù)相關(guān)技術(shù)的發(fā)展

大數(shù)據(jù)技術(shù)是一種新一代技術(shù)和構(gòu)架，它以成本較低、以快速的采集、處理和分析技術(shù)，從各種超大規(guī)模的數(shù)據(jù)中提取價(jià)值。大數(shù)據(jù)技術(shù)不斷涌現(xiàn)和發(fā)展，讓我們處理海量數(shù)據(jù)更加容易、更加便宜和迅速，成為利用數(shù)據(jù)的好助手，甚至可以改變?cè)S多行業(yè)的商業(yè)模式，大數(shù)據(jù)技術(shù)的發(fā)展可以分為六大方向：

(1)在大數(shù)據(jù)采集與預(yù)處理方向。這方向最常見(jiàn)的問(wèn)題是數(shù)據(jù)的多源和多樣性，導(dǎo)致數(shù)據(jù)的質(zhì)量存在差異，嚴(yán)重影響到數(shù)據(jù)的可用性。針對(duì)這些問(wèn)題，目前很多公司已經(jīng)推出了多種數(shù)據(jù)清洗和質(zhì)量控制工具(如IBM的Data Stage)。

(2)在大數(shù)據(jù)存儲(chǔ)與管理方向。這方向最常見(jiàn)的挑戰(zhàn)是存儲(chǔ)規(guī)模大，存儲(chǔ)管理復(fù)雜，需要兼顧結(jié)構(gòu)化、非結(jié)構(gòu)化和半結(jié)構(gòu)化的數(shù)據(jù)。分布式文件系統(tǒng)和分布式數(shù)據(jù)庫(kù)相關(guān)技術(shù)的發(fā)展正在有效的解決這些方面的問(wèn)題。在大數(shù)據(jù)存儲(chǔ)和管理方向，尤其值得我們關(guān)注的是大數(shù)據(jù)索引和查詢技術(shù)、實(shí)時(shí)及流式大數(shù)據(jù)存儲(chǔ)與處理的發(fā)展。

(3)大數(shù)據(jù)計(jì)算模式方向。由于大數(shù)據(jù)處理多樣性的需求，目前出現(xiàn)了多種典型的計(jì)算模式，包括大數(shù)據(jù)查詢分析計(jì)算(如Hive)、批處理計(jì)算(如Hadoop MapReduce)、流式計(jì)算(如Storm)、迭代計(jì)算(如HaLoop)、圖計(jì)算(如Pregel)和內(nèi)存計(jì)算(如Hana)，而這些計(jì)算模式的混合計(jì)算模式將成為滿足多樣性大數(shù)據(jù)處理和應(yīng)用需求的有效手段。

(4)大數(shù)據(jù)分析與挖掘方向。在數(shù)據(jù)量迅速膨脹的同時(shí)，還要進(jìn)行深度的數(shù)據(jù)深度分析和挖掘，并且對(duì)自動(dòng)化分析要求越來(lái)越高，越來(lái)越多的大數(shù)據(jù)數(shù)據(jù)分析工具和產(chǎn)品應(yīng)運(yùn)而生，如用于大數(shù)據(jù)挖掘的R Hadoop版、基于MapReduce開(kāi)發(fā)的數(shù)據(jù)挖掘算法等等。

(5)大數(shù)據(jù)可視化分析方向。通過(guò)可視化方式來(lái)幫助人們探索和解釋復(fù)雜的數(shù)據(jù)，有利于決策者挖掘數(shù)據(jù)的商業(yè)價(jià)值，進(jìn)而有助于大數(shù)據(jù)的發(fā)展。很多公司也在開(kāi)展相應(yīng)的研究，試圖把可視化引入其不同的數(shù)據(jù)分析和展示的產(chǎn)品中，各種可能相關(guān)的商品也將會(huì)不斷出現(xiàn)。可視化工具Tabealu 的成功上市反映了大數(shù)據(jù)可視化的需求。

(6)大數(shù)據(jù)安全方向。當(dāng)我們?cè)谟么髷?shù)據(jù)分析和數(shù)據(jù)挖掘獲取商業(yè)價(jià)值的時(shí)候，黑客很可能在向我們攻擊，收集有用的信息。因此，大數(shù)據(jù)的安全一直是企業(yè)和學(xué)術(shù)界非常關(guān)注的研究方向。通過(guò)文件訪問(wèn)控制來(lái)限制呈現(xiàn)對(duì)數(shù)據(jù)的操作、基礎(chǔ)設(shè)備加密、匿名化保護(hù)技術(shù)和加密保護(hù)等技術(shù)正在最大程度的保護(hù)數(shù)據(jù)安全。

互聯(lián)網(wǎng)的發(fā)展是大數(shù)據(jù)發(fā)展的最大驅(qū)動(dòng)力

截至 2014 年 6月，我國(guó)網(wǎng)民規(guī)模達(dá) 6.32億，較 2013年底增加1442 萬(wàn)人，互聯(lián)網(wǎng)普及 46.9%，即接近一半的中國(guó)人在使用互聯(lián)網(wǎng)?；ヂ?lián)網(wǎng)的增長(zhǎng)速度超越了很多人的預(yù)期：4年前即2010年6月，互聯(lián)網(wǎng)普及率為31.8%，而僅經(jīng)歷了四年，互聯(lián)網(wǎng)的普及率增加了超過(guò)15%。

更為重要的是，CNNIC的數(shù)據(jù)還顯示，截至2014年6月，我國(guó)網(wǎng)民上網(wǎng)設(shè)備中，手機(jī)使用率達(dá)83.4%，首次超越傳統(tǒng)PC整體使用率(80.9%)，手機(jī)作為第一大上網(wǎng)終端設(shè)備的地位更加鞏固，手機(jī)使得上網(wǎng)變得更加隨時(shí)隨地，手機(jī)上網(wǎng)更加滲透到人們的日常工作和生活中。

因此，互聯(lián)網(wǎng)普及使得網(wǎng)民的行為更加多元化，通過(guò)互聯(lián)網(wǎng)產(chǎn)生的數(shù)據(jù)發(fā)展更加迅猛，更具代表性?；ヂ?lián)網(wǎng)世界中的商品信息、社交媒體中的圖片、文本信息以及視頻網(wǎng)站的視頻信息，互聯(lián)網(wǎng)世界中的人與人交互信息、位置信息等，都已經(jīng)成為大數(shù)據(jù)的最重要也是增長(zhǎng)最快的來(lái)源。

End.