說人類步入了信息時代，有個事情是非常重要的，就是物理世界的信息化，包括信息基礎(chǔ)設(shè)施建設(shè)和數(shù)字化，緊接著就是如何將數(shù)字化的東西（數(shù)據(jù)）進(jìn)行儲存、傳輸、交換以及使用，這一脈絡(luò)伴隨著移動互聯(lián)網(wǎng)，云計(jì)算、大數(shù)據(jù)以及各種各樣智能終端的出現(xiàn)，顯得也越來越清晰。很多人都已認(rèn)可，我們可能來到一個工業(yè)革命之后，一個比我們想象地更加重要的變革時代，我們把它命名為產(chǎn)業(yè)互聯(lián)網(wǎng)的時代。畢竟這一切都是互聯(lián)網(wǎng)出現(xiàn)之后才發(fā)生的，無論是云，通過網(wǎng)絡(luò)隨需調(diào)用的計(jì)算資源；大數(shù)據(jù)，關(guān)聯(lián)的可分析在線數(shù)據(jù)；還是各種智能終端，都要依托互聯(lián)網(wǎng)。同時這些工具又幫助互聯(lián)網(wǎng)從消費(fèi)互聯(lián)網(wǎng)進(jìn)化到改變各個行業(yè)的生產(chǎn)性互聯(lián)網(wǎng)，其中，數(shù)據(jù)成為產(chǎn)業(yè)互聯(lián)網(wǎng)重要的生產(chǎn)要素。當(dāng)然，數(shù)據(jù)成為生產(chǎn)要素還有個前提，就是獲取數(shù)據(jù)，并有效的梳理與標(biāo)簽。

2013 年中國產(chǎn)生的數(shù)據(jù)總量超過0.8ZB（相當(dāng)于8億TB），2 倍于2012 年，相當(dāng)于2009 年全球的數(shù)據(jù)總量。預(yù)計(jì)到2020 年，中國產(chǎn)生的數(shù)據(jù)總量將是2013年的10倍，超過8.5ZB。（來源，ZDNET《數(shù)據(jù)中心2013：硬件重構(gòu)與軟件定義》年度技術(shù)報(bào)告）

我們通過服務(wù)器和數(shù)據(jù)中心數(shù)量，以及各行業(yè)數(shù)據(jù)梳理，大致判斷國內(nèi)目前一年產(chǎn)生、存儲的數(shù)據(jù)總量以及大致分布，在這一回中，我們嘗試將所收集的資料匯總起來，進(jìn)一步分析下各個行業(yè)、領(lǐng)域的數(shù)據(jù)總量和分布情況，以供參照。

1、BAT代表的互聯(lián)網(wǎng)公司

（百度）現(xiàn)在的數(shù)據(jù)總量接近一千個PB左右，網(wǎng)頁的數(shù)量大概是幾千億的網(wǎng)頁，從大量的網(wǎng)頁里面我們拿出幾百億來建索引，對于大量的網(wǎng)頁，我們每年更新幾十億左右，每天會享受用戶的查詢也會在幾十億左右，我們查詢的也是幾百PB。（百度云計(jì)算首席架構(gòu)師林仕鼎2013）

根據(jù)公開的信息，作為全球最大的中文搜索引擎，百度每天響應(yīng)來自138個國家和地區(qū)的數(shù)十億次請求，百度每日新增數(shù)據(jù)10TB，要處理超過100PB的數(shù)據(jù)，從浩如煙海的信息中精確抓取約10億網(wǎng)頁，同時索引庫還擁有千億級在線索引能力，以幫助用戶完成搜索過程。面對海量的大數(shù)據(jù)，百度正在通過自建數(shù)據(jù)中心，開發(fā)了自己的大數(shù)據(jù)存儲系統(tǒng)，并使用了多項(xiàng)新技術(shù)。計(jì)劃投資47.08億元的百度云計(jì)算（陽泉）中心已于2012年8月奠基，該項(xiàng)目預(yù)計(jì)2015年完工。建成后的百度云計(jì)算（陽泉）中心數(shù)據(jù)存儲量將超過4000PB，可存儲的信息量相當(dāng)于20多萬個中國國家圖書館的藏書總量。

百度的數(shù)據(jù)量大大家可能不會懷疑，甚至說中國擁有最大數(shù)據(jù)量的公司，大家可能也不會懷疑。因?yàn)槲覀兪翘峁┧阉鞣?wù)，我們要把全中國的中文網(wǎng)頁全部搜索起來，放到我們中心。全部的網(wǎng)頁多大呢？目前估計(jì)是三千億左右，三千億個中文網(wǎng)頁要把它全部抓過來，放到我們的數(shù)據(jù)中心。這個數(shù)據(jù)大概是10-50個PB，這個范圍很大，因?yàn)檫@個情況是每隔一小時時間就會發(fā)生很大變化。再一個想不到的是日志，百度的系統(tǒng)里面每天有很多大量的日志，這些日志是作為我們分析處理用戶行為習(xí)慣，包括數(shù)據(jù)恢復(fù)和災(zāi)難備份很重要的基礎(chǔ)，這個數(shù)據(jù)量是最大的，目前能達(dá)到100個PB以上。數(shù)據(jù)倉庫，數(shù)據(jù)倉庫是經(jīng)過清洗以后的日志信息，這個是結(jié)構(gòu)化的。再一個大家知道，百度上有百度推廣，俗話叫廣告。和傳統(tǒng)廣告一樣，除了有客戶的信息之外，還有廣告本身，這部分?jǐn)?shù)據(jù)比較小，1TB，但是這部分?jǐn)?shù)據(jù)對它處理的要求非常高，首先是要高度的一致性。最后一個是UGC，用戶產(chǎn)生的內(nèi)容，大家都知道百度有貼吧，有百度知道，百度文庫，這些內(nèi)容是廣大互聯(lián)網(wǎng)網(wǎng)民自己產(chǎn)生，自己上傳，大家一起分享的數(shù)據(jù)，這部分?jǐn)?shù)據(jù)目前達(dá)到1PB，而且這里的數(shù)據(jù)大量是用戶上傳的視頻、圖片等等多媒體的數(shù)據(jù)。（百度技術(shù)委員會理事長陳尚義2012）

擁有近５億注冊用戶，2013年有篇報(bào)道指出阿里巴巴掌握的總體數(shù)據(jù)量為３０Ｐ。行業(yè)內(nèi)部人士預(yù)計(jì)阿里集團(tuán)大概有30萬臺左右服務(wù)器，目前保存的數(shù)據(jù)量應(yīng)該在近百PB（對新浪微博的投資，對高德等的收購等行為，會進(jìn)一步提高阿里巴巴可接觸的數(shù)據(jù)量）。2012年7月10日，阿里集團(tuán)就宣布設(shè)立首席數(shù)據(jù)官崗位（CDO），負(fù)責(zé)推進(jìn)“數(shù)據(jù)分享平臺”戰(zhàn)略。阿里巴巴也一直在嘗試對數(shù)據(jù)進(jìn)行加工。從早期的“淘寶指數(shù)”，到為店鋪經(jīng)營提供運(yùn)營管理數(shù)據(jù)分析的“數(shù)據(jù)魔方”，到將“云”理念與大數(shù)據(jù)結(jié)合的“聚石塔”，再到以數(shù)據(jù)分析為基石的“阿里金融”，阿里在大數(shù)據(jù)開發(fā)方面一直走在業(yè)界前沿。

從淘寶創(chuàng)立之時，阿里巴巴就開始搜集平臺上的數(shù)據(jù)，直至支付寶、聚劃算、一淘等平臺，隨著業(yè)務(wù)的爆發(fā)式增長，阿里諸平臺上的數(shù)據(jù)成倍增加，匯集成海。這些數(shù)據(jù)包括交易數(shù)據(jù)、用戶瀏覽和點(diǎn)擊網(wǎng)頁數(shù)據(jù)、購物數(shù)據(jù)等等。阿里集團(tuán)首席戰(zhàn)略官曾鳴預(yù)測，“阿里本質(zhì)上，未來會是一家數(shù)據(jù)運(yùn)營公司。”前者，是如何將大數(shù)據(jù)用好，而后者則意味著，如何讓大數(shù)據(jù)更好用。

在2013年大數(shù)據(jù)大會上，騰訊公司數(shù)據(jù)平臺助理總經(jīng)理蔣杰表示，在國內(nèi)互聯(lián)網(wǎng)體系中，騰訊擁有的數(shù)據(jù)覆蓋多個領(lǐng)域，總存儲數(shù)據(jù)量經(jīng)壓縮處理以后在100PB左右。

騰訊QQ目前擁有８億用戶，４億移動用戶，在數(shù)據(jù)倉庫存儲的數(shù)據(jù)量單機(jī)群數(shù)量已達(dá)到4400臺，總存儲數(shù)據(jù)量經(jīng)壓縮處理以后在100PB左右，并且這一數(shù)據(jù)還在以日新增200TB到300TB，月增加10%的數(shù)據(jù)量不斷增長，現(xiàn)在正在為1000個PB做準(zhǔn)備。亞洲最大的數(shù)據(jù)承載中心，騰訊天津研發(fā)與數(shù)據(jù)存儲中心正在濱海新區(qū)緊張地建設(shè)中，騰訊天津中心項(xiàng)目總建筑面積9.33萬平方米，預(yù)計(jì)服務(wù)器托管能力超過10萬臺。

其他像360、一些地圖、社交、影視娛樂類互聯(lián)網(wǎng)公司，也擁有PB量級數(shù)據(jù)儲備。如果按某媒體所說的BAT中阿里巴巴擁有90%以上的電商數(shù)據(jù)，百度以70%以上的搜索市場份額坐擁龐大的搜索數(shù)據(jù)，騰訊擁有大量社交、游戲等領(lǐng)域積累的文本、音頻、視頻和關(guān)系類數(shù)據(jù)，這三大巨頭擁有的數(shù)據(jù)量肯定是在EB級別以上，全部互聯(lián)網(wǎng)公司擁有的數(shù)據(jù)量應(yīng)該超過1.5EB，達(dá)到接近2EB的體量。

2、電信、金融、保險(xiǎn)、電力、石化系統(tǒng)

2012年12月13日，在由云基地主辦的“中關(guān)村大數(shù)據(jù)日”活動上，中國聯(lián)通研究院副院長黃文良介紹，“今年，中國聯(lián)通成功將大數(shù)據(jù)和Hadoop技術(shù)引入到”移動通信用戶上網(wǎng)記錄集中查詢與分析支撐系統(tǒng)”。截止到目前，我們已經(jīng)部署了4.5PB的存儲空間。除了這些數(shù)據(jù)，運(yùn)營商還具有用戶通話、信息、地理位置等信息，目前主要運(yùn)營商擁有的數(shù)據(jù)數(shù)量應(yīng)該都在10PB以上，總體年度用戶數(shù)據(jù)增長約數(shù)十個PB。

中國銀聯(lián)公開數(shù)據(jù)顯示，全國僅“銀聯(lián)”銀行卡發(fā)行量目前接近40億張，每天有近600億交易通過銀聯(lián)的銀行卡交易，盡管單張卡片數(shù)據(jù)量不大，但匯總起來，這依舊是一個非常龐大的數(shù)據(jù)量。如果再加上開戶信息數(shù)據(jù)，銀行網(wǎng)點(diǎn)和在線交易的各種數(shù)據(jù)，以及金融系統(tǒng)自身運(yùn)營的數(shù)據(jù)，目前國內(nèi)銀行和金融系統(tǒng)每年產(chǎn)生的數(shù)據(jù)也能達(dá)到數(shù)十PB，保險(xiǎn)系統(tǒng)生成的數(shù)據(jù)量也會接近PB級別。

今天，國家電網(wǎng)建成世界最大電能計(jì)量自動化系統(tǒng)。截至2013年年底，累計(jì)安裝智能電能表1.82億只，實(shí)現(xiàn)采集1.91億戶，采集覆蓋率56%，自動抄表核算率超過97％。智能電網(wǎng)可以產(chǎn)生巨大的數(shù)據(jù)量。比如國網(wǎng)信通在北京五個小區(qū)， 353個采集點(diǎn)，采集1.2萬個參數(shù)，包括頻率、電壓、電流等， 15分鐘采集一次，一天就能產(chǎn)生34GB。僅國家電網(wǎng)，全國能夠采集獲得的數(shù)據(jù)總量也是上10個PB級別的，能夠保存下來的數(shù)據(jù)量也能達(dá)到近10PB，同樣，據(jù)內(nèi)部資料分析，石油化工、智能水表等領(lǐng)域每年產(chǎn)生和保存下來的數(shù)據(jù)量也達(dá)到數(shù)十PB級別。

3、公共安全、醫(yī)療、交通領(lǐng)域

隨著平安城市、智慧城市等工程的推進(jìn)，監(jiān)控?cái)z像頭已經(jīng)遍布大街小巷，安防監(jiān)控對高清化、智能化、網(wǎng)絡(luò)化、數(shù)字化的要求越來越高，數(shù)據(jù)量自然也不斷地迅速增加。據(jù)說，1080P高清網(wǎng)絡(luò)攝像機(jī) ，速度能夠達(dá)到每秒60幀，這樣的攝像機(jī)一個月產(chǎn)生的視頻文件就達(dá)1.8T。北京目前用于視頻監(jiān)控的攝像頭有50萬個，一個攝像頭一個小時的數(shù)據(jù)量就是幾G，每天北京市的視頻采集數(shù)據(jù)量在3PB左右，而一個中等城市每年視頻監(jiān)控產(chǎn)生的數(shù)據(jù)在300PB左右。盡管出于成本考慮，很多監(jiān)控視頻具備定期清除循環(huán)的特點(diǎn)，但整個視頻監(jiān)控每年能夠保存下來的數(shù)據(jù)，每年也在數(shù)百PB以上。

與此相關(guān)的交通方面，航班往返一次能產(chǎn)生數(shù)據(jù)就達(dá)到TB級別，還有列車、水陸路運(yùn)輸產(chǎn)生的各種數(shù)據(jù)視頻、文本類數(shù)據(jù)，每年也在百PB級別，能夠保存下來的，也能達(dá)到數(shù)十PB。

北京市交通運(yùn)行監(jiān)測調(diào)度中心建立了包含“交通數(shù)據(jù)中心、監(jiān)測預(yù)警中心、運(yùn)行協(xié)調(diào)中心、綜合交通信息發(fā)布中心”在內(nèi)的四大中心，實(shí)現(xiàn)運(yùn)行監(jiān)測、協(xié)調(diào)聯(lián)動、決策支持與信息服務(wù)等功能，并為政府決策、行業(yè)監(jiān)管、企業(yè)運(yùn)營、百姓出行等提供服務(wù)支持。具體來看，TOCC已整合接入行業(yè)內(nèi)外27個應(yīng)用系統(tǒng)、6000多項(xiàng)靜動態(tài)數(shù)據(jù)、6萬多路視頻，目前靜動態(tài)數(shù)據(jù)存儲達(dá)到20T，每天數(shù)據(jù)增量達(dá)30G左右。（北京市交通運(yùn)行監(jiān)測調(diào)度中心（TOCC）副主任張可）

上海申康醫(yī)院發(fā)展中心牽頭完成的“醫(yī)聯(lián)工程”項(xiàng)目將大數(shù)據(jù)應(yīng)用于健康醫(yī)療產(chǎn)業(yè)，該項(xiàng)目覆蓋38家市級三甲醫(yī)院，實(shí)現(xiàn)了市-區(qū)各級醫(yī)院間大規(guī)模臨床信息實(shí)時共享以及健康檔案動態(tài)更新，高效存儲檢索解決了海量影像信息高效存儲、傳輸和展示的難題，建立了PB級醫(yī)學(xué)影像檔案庫。有媒體報(bào)道說：“中國一線的大型城市，僅僅健康檔案的數(shù)據(jù)，一年就有5PB之多。”醫(yī)療健康衛(wèi)生領(lǐng)域無疑是一個很大數(shù)據(jù)來源，包括疾病監(jiān)控等方面的數(shù)據(jù)。比如，醫(yī)療數(shù)據(jù)一個大腦的CT掃描圖要讓它分辨率很高，微米的數(shù)據(jù)量產(chǎn)生是4.5TB的數(shù)據(jù)。例如像廣州中山大學(xué)醫(yī)院2013年數(shù)據(jù)是1000個TB。有統(tǒng)計(jì)表明，中國一個中等城市(一千萬人口)50年所積累的醫(yī)療數(shù)量可達(dá)到10PB。如此推算，整個醫(yī)療衛(wèi)生行業(yè)，一年能夠保存下來的數(shù)據(jù)就可以達(dá)到數(shù)百PB。

“大型醫(yī)院每年的數(shù)據(jù)增量在數(shù)十TB，僅醫(yī)學(xué)影像每年可達(dá)20TB。” 一個CT圖像含有大約150MB的數(shù)據(jù)容量，而一個基因組序列文件大小約為750MB，一個標(biāo)準(zhǔn)的病理圖與前兩者相比則大得多，文件大小接近5GB。如果將這些數(shù)據(jù)量乘以人口數(shù)量和平均壽命，僅一個社區(qū)醫(yī)院或一個中等規(guī)模制藥企業(yè)就可以生成和累積達(dá)數(shù)個TB甚至數(shù)個PB級的結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)。（某大型三甲醫(yī)院計(jì)算機(jī)室主任）

4、氣象、教育、地理、政務(wù)等

目前，整個中國氣象局所保存的數(shù)據(jù)在4~5PB左右，每年大概增加數(shù)百個TB左右。包含了地面觀測、衛(wèi)星、雷達(dá)和數(shù)據(jù)預(yù)報(bào)產(chǎn)品等幾大類的觀測數(shù)據(jù)。各種地圖和地理位置信息應(yīng)該每年在數(shù)十PB，但此次信息容易和互聯(lián)網(wǎng)公司以及交通運(yùn)輸、物流行業(yè)產(chǎn)生信息重疊，單獨(dú)占有和保存的此類信息應(yīng)該在PB級別。

除了常規(guī)的地面觀測站之外，以氣象衛(wèi)星和多普勒天氣雷達(dá)為代表的遙感遙測業(yè)務(wù)領(lǐng)域近三十年來取得飛速發(fā)展，這些領(lǐng)域一方面每天產(chǎn)生著數(shù)以TB級的觀測數(shù)據(jù)。（國家氣象信息中心副總工程師沈文海）

據(jù)悉，一個智慧城市的數(shù)據(jù)一個季度就是200PB之多。2013年，北京市政務(wù)數(shù)據(jù)資源網(wǎng)試運(yùn)行一年來，已上線公布了４００余個數(shù)據(jù)包，涵蓋旅游、教育、交通、醫(yī)療等門類，累計(jì)訪問量超過６００萬次，地理空間數(shù)據(jù)累計(jì)下載量４８００余次。有調(diào)查顯示，未來1-2年中國政府部門的數(shù)據(jù)規(guī)模超過100TB的將超過一半，達(dá)到53.3%，有將近三成（33.3%）的用戶數(shù)據(jù)規(guī)模是10-50TB。政府部門的數(shù)據(jù)多數(shù)還是集中在結(jié)構(gòu)化數(shù)據(jù)上，對于非結(jié)構(gòu)化數(shù)據(jù)的擁有量并沒有想象的大。整個政府部門產(chǎn)生的數(shù)據(jù)，排除上述提到的幾個主要部分，也能達(dá)到PB級別。

目前，絕大多數(shù)中央部委和省級政府部門的核心業(yè)務(wù)都有數(shù)據(jù)庫支撐，核心業(yè)務(wù)數(shù)據(jù)庫覆蓋率超過80%。公安部建成了覆蓋13億人口的國家人口數(shù)據(jù)庫。國家工商總局建成了企業(yè)法人數(shù)據(jù)庫，民政部和中央編制辦公室初步建成了社會團(tuán)體和事業(yè)單位信息庫，全國四級國土資源主管部門積累了近6000TB的數(shù)據(jù)，國家統(tǒng)計(jì)局建成了統(tǒng)計(jì)信息庫，國家發(fā)展和改革委牽頭的自然資源和空間地理基礎(chǔ)信息庫正在加緊建設(shè)。此外，金融、稅務(wù)、質(zhì)檢、社保、教育等領(lǐng)域也都建成了一批信息庫。

5、其他，商業(yè)銷售、制造業(yè)、農(nóng)業(yè)、物流和流通等領(lǐng)域

隨著產(chǎn)業(yè)互聯(lián)網(wǎng)的普及，（線下）商業(yè)銷售、制造業(yè)、農(nóng)林牧漁業(yè)、（線下）餐飲、食品、科研、物流運(yùn)輸?shù)鹊冗@些傳統(tǒng)行業(yè)的數(shù)據(jù)量將呈現(xiàn)迅速增長態(tài)勢，但目前來說，目前這些行業(yè)數(shù)據(jù)量還處于積累期，整個體量都不算大，多的達(dá)到PB級別，基本也就是百TB甚至數(shù)十TB級別。另外，中國國家圖書館藏書是2631萬冊，這相當(dāng)于41TB。影視娛樂、出版?zhèn)髅椒矫嬉灿幸欢康臄?shù)據(jù)積累，還有教育方面目前也在產(chǎn)生著大量的數(shù)據(jù)，這些都是未來可以挖掘的方向。

制造業(yè)的存儲數(shù)據(jù)一般被分為以下幾種類型：其一，產(chǎn)品設(shè)計(jì)數(shù)據(jù)，這類數(shù)據(jù)的典型特點(diǎn)是以文件為主，非結(jié)構(gòu)化，共享要求比較高，保存時間也比較長；其二，企業(yè)生產(chǎn)環(huán)節(jié)的業(yè)務(wù)數(shù)據(jù)，其特點(diǎn)是以數(shù)據(jù)庫等結(jié)構(gòu)化數(shù)據(jù)為主，這些數(shù)據(jù)的重要性不言而喻，它們不僅表現(xiàn)企業(yè)目前運(yùn)行的狀況，而且為企業(yè)進(jìn)一步發(fā)展決策提供有價(jià)值的分析；其三，生產(chǎn)監(jiān)控?cái)?shù)據(jù)，其特點(diǎn)是數(shù)據(jù)量非常大，對存儲空間以及I/O吞吐要求高。制造企業(yè)中，企業(yè)對數(shù)據(jù)的記錄多停留于兩種形態(tài)：1、傳統(tǒng)的紙筆記錄;2、Excel電子表格記錄。這些操作起來看似簡單的數(shù)據(jù)管理方式，在浪費(fèi)人力物力的同時，還為企業(yè)生產(chǎn)及質(zhì)量監(jiān)控埋下了巨大的隱患。而真正挖掘數(shù)據(jù)背后的價(jià)值，更是無從談起。

最后，我們再從IDC使用行業(yè)分布看一看，互聯(lián)網(wǎng)客戶仍舊是主要快速增長的客戶群體，占到40%左右，電信、生產(chǎn)制造行業(yè)也屬于使用比較多的，政府、教育行業(yè)增長較快，所占比例分別為8.7%和7.8%。數(shù)據(jù)存儲需求方面，據(jù)IDC預(yù)測，存儲市場將繼續(xù)表現(xiàn)出良好的增長勢頭。在未來五年，存儲數(shù)據(jù)容量將達(dá)到15864PB（另一數(shù)據(jù)是18EB），其中尤以政府、醫(yī)療、教育等行業(yè)增長迅速，所占份額最重。

原文鏈接：http://www.36dsj.com/archives/6285