IDC中國在10月份剛剛發布了《中國大數據技術與服務市場2012-2016年預測與分析》報告，其中的數據顯示，中國大數據技術和服務市場未來5年的復合增長率將達51.4%。報告中指出，淘寶、騰訊，以及百度等互聯網巨頭是率先使用大數據技術的用戶，同時電信和銀行領域也開始對大數據技術和服務產生濃厚的興趣。

Gartner也預測，到2015年，大數據將為全球帶來440萬個IT崗位，其中96萬個IT崗位會在亞太地區。每個大數據相關的崗位將催生三個非IT的就業機會，從而使亞太地區的就業機會總計達到40萬個。種種數據表明，大數據不僅會為人們的日常生活帶來影響，對整個IT生態鏈也是一個巨大的機遇。

生活中的大數據

對于普通的用戶來說，雖然不必關心大數據的概念究竟是什么，但一些案例卻可以直入生活。就拿剛剛過去的11月11日，天貓商城所創造的191億元銷售額的傳奇來說，商家已經懂得了如何利用用戶以往的購買記錄去推送有針對性的商品。還有沃爾瑪創造的“尿布+啤酒”的營銷傳奇至今還在被人們津津樂道。尿布、啤酒這看似兩種針對客戶群完全不同的產品，卻在沃爾瑪的銷售記錄里創造了令人驚奇的搭配效果。這個故事講的是，如果太太讓先生去樓下買尿布時，先生一般都會按照自己的需求再順帶捎上兩聽啤酒，因而啤酒和尿布被一起購買的機會最多。這個案例是由沃爾瑪商場的智能化信息分析系統挖掘出來的秘密，這個系統讓沃爾瑪成為了“最了解消費者”的零售商，而這個故事也成為了大數據影響人們日常生活的一個經典案例。

作為都靈大學腫瘤學系的私營且非嬴利機構，該校的癌癥研究所一直致力于了解癌癥基本機理，為病人提供最佳診斷和治療服務。目前，研究人員努力讓他們大量的研究數據變得更具有意義。他們最新采用了來自Kairos3D 公司生產的名為GenomeCruzer的產品。GenomeCruzer由Gilgamesh大數據3D可視化引擎驅動，提供一個整合有數據模式和關系、且能夠讓整個數據集被看到和開發的環境。癌癥研究所的Enzo Medico博士說：“這個神奇的工具提升了我們對龐大數據集的利用率，并獲得了前所未有的數據分析速度。該工具的這一優勢已經被確認。”這種最新的交互式3D大數據可視化可以推進癌癥研究進程，縮短癌癥治療過程。

上述的兩個例子已經足以讓我們意識到大數據帶來的益處。不僅是在零售、醫療行業，PMC公司企業存儲事業部市場營銷副總裁Derek Dicker表示：“在眾多垂直行業中，數據量都在快速增長。例如石油、天然氣、氣候建模和預報、生命科學等行業。”以氣候行業為例，政府機構在研究氣象模式時需要創建并分析大數據集，從而更加準確地預報氣候變化的強度、方向，以及持續時間，這將影響數百萬人的日常生活。為了實現上述的案例，一個大數據分析平臺必不可少，為大數據而生的新興技術也開始層出不窮。

阿里云的大數據經驗

伴隨著大數據概念的火熱，以一只大象為代表的Hadoop迅速席卷了IT人士的視野。這種分布式的計算模式幾乎成為了公認的大數據處理模式，隨之而來的，是IT巨頭紛紛加入Hadoop陣營。雖然開源是個大趨勢，但ESG中國區總經理王叢也認為用戶想要真的去利用Hadoop部署自己的項目，首先需要的就是雇傭大量的人才去學習Hadoop，人才成本比較高。同時我們也可以看到，國內也出現了一些擁有自主知識產權的大數據處理平臺。阿里云是其中的佼佼者。

阿里云作為阿里巴巴旗下的一員，相比淘寶、支付寶等公司低調許多，但當它所自主創建的分布式計算系統進入人們眼簾時，引起了業內的巨大反響。阿里云所涉及的業務包含了彈性計算、大規模存儲、大規模數據處理、搜索、地圖、郵箱等等服務。在阿里云平臺發展的過程中，研發過程也曾受阻，期間也曾遭到質疑，但不可否認的是，阿里云目前已經擁有了龐大的用戶群，并且在打造“以數據為中心的開放云計算服務平臺”的道路上越走越順。

阿里云計算有限公司研究員薛貴榮在接受記者采訪時表示，目前接入阿里云的注冊用戶達到170多萬，平臺租戶已經超過了5000家，直接或者間接享受阿里云平臺服務的終端用戶則可達到上億的用戶。而阿里云最為看重的就是“數據”。結合當前的大數據熱潮，阿里云的目的就是提供強大的計算能力，幫助用戶去處理新時代的石油——數據。

薛貴榮介紹，經過三年的發展，阿里云打造成了完全自主研發的大規模分布式計算系統——飛天。該系統除了MapReduce之外，還支持最廣泛的多種編程模型。而且，阿里云的技術人員在這個同一平臺之上實現了數據存儲、彈性計算、搜索等多項功能。而這種功能，除了阿里云，世界上也只有Google能夠做到。而阿里云的戰略，我們也可以解讀為Amazon+Google并有所超越，用Google模式的技術去做Amazon模式的運營。

結合當前的Hadoop熱潮，或許有讀者會感到困惑，費了半天勁自己研發了一個大數據平臺，為何不直接使用Hadoop呢?對此問題，阿里云有自己的看法。阿里云總裁王堅曾經說：“Hadoop在離線大數據處理上很有價值，但它無法解決我們公司公共云計算服務的問題。因為我們已經上線的云服務已遠遠超出Hadoop的能力，這和公司的定位有關。現在，飛天已經很好地支持了阿里云的各項業務，其中包括大數據處理，在這方面，飛天實際已經超越了Hadoop。”

薛貴榮也表示，如果沒有一個專業性較強的Hadoop團隊去維護，Hadoop的能力上升會受到限制。不管如何，在經歷了質疑、阻礙之后，飛天成功了。而之后，飛天將會在阿里云技術團隊的維護下，繼續擴充自身的計算能力，提供更加廣泛的大數據處理服務。

談到當前的大數據問題，薛貴榮總結了以下四個經驗與讀者進行分享：

第一，就是云計算平臺的建設。對于大數據而言，后端的處理能力是基礎，這也是阿里云最近三年一直致力在做的事情。以搜索業務為例，要想把全世界的萬億級別的網頁全部索引一遍，單單依靠一臺機器去處理是完全不可能實現的。因此，對于大數據的處理平臺來說，如何將幾千、幾萬臺的機器做成一個集群是最為重要的事情。這種大規模的分布式計算系統是飛天系統的核心。

薛貴榮介紹，飛天從第一行代碼開始就是自己寫的，目前這個分布式計算模式也在積極與ISV進行合作，以便能夠為其他行業的用戶提供一種“自主”的大數據處理工具。

第二，薛貴榮表示，大數據平臺需要有智能化的技術。他以“命題作文”為例，大數據平臺不能是根據問題去尋找答案，而是應該智能地向用戶提供有價值的信息。以IBM的機器人沃森為例，他能夠回答非固定的問題，后端需要的是一個強大的分析系統。目前在人工智能領域的深度學習、自學習以及終生學習等都取得一些突破性的進展，值得去嘗試。

第三，是成本問題。薛貴榮表示，大數據不能成為一個燒錢的項目，所以對于用戶而言，成本很重要，因而在阿里云的集群中全部采用了價格比較低廉的PC服務器。這也是大數據與云計算相呼應的地方。云計算可以為大數據的處理提供一個彈性、低成本的平臺，而大數據又促進了云計算的發展。

總而言之，對于一個強大的大數據分析平臺來講，智能化、彈性、集群的擴展能力都必不可少。但最基礎的部分，底層的IT基礎設施必須足夠強大，才能夠應付上層的這么許多應用。因此包括設備提供商、芯片制造商也都開始在大數據領域發力。 #p# 

IT設備提供商：

軟硬兼顧，迎合潮流

IDC針對大數據所做的一項重要預測——大數據促進了針對軟件廠商的并購。就像Derek說的那樣：“大數據的出現改變了整個IT產業供應鏈，進而促生了一個價值數十億美元的產業。看準這一市場的軟件和硬件公司得到風投的支持，正逐漸浮出水面或被大公司收購。”

例如，EMC在2010年收購了大數據公司Greenplum，此后，EMC又收購了敏捷軟件開發商Pivotal Labs。IBM繼2010年收購數據分析公司Netezaa之后，在2012年又接連宣布收購數據分析公司Varicent和Vivisimo。作為正向IT綜合解決服務商轉型的戴爾，針對大數據的大手筆收購，則是24億美元高價收購的Quest。此外，還與包括Hadoop在內的眾多軟件廠商進行了合作，以便更好地提升對各種軟件的支持速度。HDS中國區解決方案與專業服務事業部總監陳戈告訴記者，HDS也一直在做大數據方面的探索，例如與SAP的HANA推出聯合捆綁的解決方案，以幫助用戶進行數據挖掘和分析。

可以看出，上述幾家傳統的“硬件”巨頭都沒有放過未來的軟件機遇。

但IDC存儲系統項目副總裁Benjamin S. Woo表示：“一直到2015年，軟件和服務都將占主導地位，但是針對大數據部署的基礎設施技術，將以44%的年復合增長快速發展起來，到2015年這個數字更是會達到61.4%。”上述的數字，估計會令所有的IT基礎設施供應商感到欣喜，基礎設施市場會伴隨著大數據軟件市場一起增長。

戴爾大企業客戶部市場部高級經理詹健表示：“增長份額是否能夠達到那么高，還要看市場的大環境。但隨著用戶對IT部門的投入縮減，以及對效率的更高要求，用戶的需求肯定發生了變化。”以戴爾為例，以往非結構化數據對用戶沒有造成很大的困擾，因此一個基于Windows的NAS服務器就可以滿足需求。但近兩年來看，這種趨勢完全改變了，用戶需要一種可以橫向擴展的、支持大容量的，以及能夠按需增加的針對非結構化數據的存儲。因此，戴爾在今年連續發布了基于流動文件系統針對非結構化數據的FS7600，以及FS8600 NAS網關，幫助用戶實現可擴展的非結構化數據的存儲。而戴爾之前收購的Ocarina和Exanet也開始發力，幫助用戶實現可擴展的文件系統和重復數據刪除及壓縮。另外，詹健表示，對于大數據而言，Scale-out架構的存儲系統就可以發揮出優勢，在增加容量的同時性能也同步增長，而且完全可以按需擴容。

“目前，針對大多數用戶而言，最重要的難點還是在大數據的存儲和管理。” 華為存儲產品線營銷工程部部長龐鑫這樣認為。陳戈也表示，針對大數據，第一步就是如何存儲大量激增的結構化和非結構化數據，繼而是如何管理，最后才是大數據的分析。可以看出，大數據對存儲領域的影響將會比其他領域更為深遠。

談到大數據帶來的存儲機遇，王叢表示：“大數據會刺激集群NAS的增長。”這個觀點在華為的銷售記錄里得到了印證。華為企業業務IT產品線NAS與數據保護領域總經理經寧表示：“此前都在討論SAN、NAS、集群NAS分別適合用在什么場合，而大數據概念的出現，感覺豁然開朗。”華為一直很注意如何將垂直行業與存儲設備進行有效結合。而作為華為的集群NAS產品——N8000也一直很受多媒體和高性能計算行業的青睞。在與行業用戶的接觸中，結合大數據概念的出現，華為逐漸找出了規律——集群NAS適合大數據時代的數據存儲。

集群NAS并不是最近幾年才出現的新產品，但是針對大數據，華為對產品進行了不斷的改進創新。比如，更低的時延、更高的帶寬、更好的容量擴展性等方面都進行了改進。龐鑫表示：“對于很多用戶而言，很大的挑戰在于大數據的存儲和管理。而從目前的發展勢頭來看，傳統的IT基礎設施，包括服務器、存儲在內，往往還都是縱向擴展。很明顯這種架構無法滿足海量數據存儲、查詢和分析的需求。大數據時代理想的架構應該是橫向擴展的，可以讓用戶根據業務發展需要靈活增加節點。”

針對上述的需求，華為在今年的云計算大會上，發布了專門針對大數據的MVX創新型解決方案。這款專門針對大數據的解決方案將Scale-out NAS、Scale-out DB和Scale-out Backup進行了融合，將海量數據存儲、共享、分析結合為一體，為用戶提供非結構化和結構化數據的大數據存儲共享平臺。

EMC之前收購的Isilon在橫向擴展NAS方面也取得了很大的進展。EMC宣稱已經將Hadoop文件系統集成到Isilon橫向擴展NAS中，幫助用戶使用一個單一的共享存儲資源來進行數據計算和分析。

芯片提供商：

向高性能、高容量持續發力

就像之前所說的那樣，大數據影響的不是一兩家IT企業，而是整個IT產業鏈。而作為芯片廠商，他們該如何抓住大數據帶來的機遇呢?PMC的Derek表示：“在我們的觀察中，有兩類對待升級IT基礎設施以適應大數據時代需求的方式;一種是大型的傳統IT公司，會采用循序漸進的方式對系統進行改進。而我們看到的另一類用戶，也就是大多數的互聯網公司，對于新技術的采用則保持非常開放的態度。我們看到這些用戶對于新技術的渴望。此類用戶需要利用新技術在更小的空間內集成更大的存儲容量。對此，芯片級解決方案就是最理想且可靠的方案。我們很幸運地能夠見證大數據的到來，也因此對PMC主要產品線均能做出調整，以充分利用這一增長機遇。”

英特爾(中國)有限公司行業合作與解決方案部中國區總監凌琦在今年的大數據論壇上說：“英特爾也看到了大數據是一個機會。因為所有的分析軟件、存儲軟件都必須要架構在一個硬件平臺上。只有硬件平臺發展到一定程度，才能提供對大數據的存儲、分析，以及價值的挖掘。”

英特爾作為IT行業的巨頭之一，尤其是芯片領域有著強大的優勢，在大數據時代，英特爾會扮演什么角色呢?英特爾亞太研發有限公司總經理、軟件與服務事業部中國區總經理何京翔表示：“從英特爾的產品線來講，正在考慮從CPU、存儲、內存等一切的技術出發，構建新一代的系統架構。”另外，英特爾也已經推出了基于至強平臺和英特爾發行版的Hadoop大數據處理方案，已經與國內多個行業的用戶合作，去解決他們面臨的大數據問題。

對于致力于存儲、光網絡和移動網絡的PMC公司而言，大數據同樣是一個發展自己的絕佳機會。Derek表示：“大數據讓市場上對于更低功耗、更小體積和更大存儲容量產品的呼聲越來越高，這恰恰是硬件芯片方案的機遇。”今年，PMC推出了首款支持PCIe 3.0的片上RAID控制器(RoC)，單芯片支持24個SAS或SATA 6Gb/s端口，而目前市場上同類產品都是8端口的。這也就意味著用戶可以直連更多設備而無須借助擴展器，因而節約空間，降低功耗，并大幅提高性能，這對建立密集型存儲設備的數據中心來說就是關鍵技術。

另外，Derek也表示，為了提升數據中心的響應時間，閃存產品的普及將會加速。PMC也一直將固態存儲理念運用到產品開發當中，并且把PMC在電信行業的領先技術——前向糾錯技術也融入到了其SFM-12G SSD控制器當中，從而延長NAND閃存的壽命。

在最近舉行的第五屆加速創新年度峰會上，LSI也打出了“智能芯片、閃存及其他技術讓挑戰化機遇”的口號。可以看出，以往離終端用戶最遠的芯片廠商在大數據的浪潮中也不甘拜下風。

縱觀整個IT產業鏈可以發現，在軟件領域，大數據挖掘和分析占據了主流。傳統的IT解決方案提供商不僅通過技術手段對自身的硬件產品進行了不斷的更新，更是通過并購的手段收購了一些數據分析軟件領域的廠商來擴充自身的大數據實力。而芯片領域的廠商也沒有放過在大數據時代發展自身的機會。這一場因大數據帶來的IT“信息革命”已經拉開了帷幕，作為用戶的我們，只需靜靜等待大數據為我們的生活帶來的便利吧。