如果說阿里巴巴是國內(nèi)最有價值的商業(yè)數(shù)據(jù)公司，你同意嗎？我們都知道阿里巴巴旗下有7大業(yè)務(wù)，其中像淘寶和天貓每天都會產(chǎn)生大量的交易數(shù)據(jù)，據(jù)統(tǒng)計，在剛剛結(jié)束的“雙11”這一天的交易額達(dá)到191億元，天貓132億、淘寶59億，支付寶處理交易筆數(shù)1.058億筆，峰值時期處理交易筆數(shù)9萬筆/分鐘，核心數(shù)據(jù)庫集群處理了41億個事務(wù)，支付寶核心數(shù)據(jù)庫集群執(zhí)行了285億次的查詢。在訪問量方面，當(dāng)天有2.13億獨(dú)立用戶訪問天貓，占到互聯(lián)網(wǎng)用戶的四成。雖然，現(xiàn)在淘寶還沒有對外公布本次單日產(chǎn)生的數(shù)據(jù)量，但單從上面的數(shù)字信息來看，這個數(shù)據(jù)量一定是很驚人的。所以，如果說阿里巴巴坐在金山上，也許一點(diǎn)都不為過。

其實(shí)不只是淘寶，隨著互聯(lián)網(wǎng)技術(shù)及行業(yè)的不斷發(fā)展，越來越多復(fù)雜的互聯(lián)網(wǎng)平臺或應(yīng)用架構(gòu)產(chǎn)生，大規(guī)模數(shù)據(jù)的處理需求日益明顯，而如何有效挖掘這些大數(shù)據(jù)也正在成為大家關(guān)注的焦點(diǎn)。在這種形式下，云計算應(yīng)運(yùn)而生。云計算滿足了企業(yè)對海量數(shù)據(jù)的低成本、高效處理，實(shí)現(xiàn)了不同類型數(shù)據(jù)的大量存儲與海量計算。如何在“大數(shù)據(jù)”技術(shù)上用云計算構(gòu)建下一代數(shù)據(jù)倉庫、如何有效分析挖掘數(shù)據(jù)已經(jīng)成為熱門話題。

阿里云被稱作是中國的亞馬遜，他是以數(shù)據(jù)為中心的云計算服務(wù)公司，目標(biāo)是打造互聯(lián)網(wǎng)數(shù)據(jù)分享第一平臺。本文將向您介紹，阿里云計算如何實(shí)現(xiàn)對海量數(shù)據(jù)的處理與計算、如何最大化的提高計算效率？如何有效挖掘大數(shù)據(jù)的價值？

張東暉，阿里巴巴集團(tuán)數(shù)據(jù)平臺總監(jiān)，他在第二屆云計算架構(gòu)師峰會上提到，讓數(shù)據(jù)變成真正的價值，并帶來收益，光有數(shù)據(jù)是不夠的，還需要三大利器：第一，要有好的商業(yè)模型，如阿里金融；第二，強(qiáng)大的數(shù)據(jù)團(tuán)隊，像現(xiàn)在流行的數(shù)據(jù)科學(xué)家；第三，淘金工具，比如阿里云的開放數(shù)據(jù)處理服務(wù)(ODPS)。

[[103298]]
阿里巴巴集團(tuán)數(shù)據(jù)平臺總監(jiān)張東暉

ODPS(Open Data Processing Service) 是基于阿里云計算平臺構(gòu)建的數(shù)據(jù)存儲與分析的平臺。ODPS提供大規(guī)模數(shù)據(jù)存儲與數(shù)據(jù)分析，用戶可以使用ODPS平臺上提供的數(shù)據(jù)模型工具與服務(wù)，同時也支持用戶自己發(fā)布數(shù)據(jù)分析工具。適用于金融、零售、制造業(yè)和電商企業(yè)的BI團(tuán)隊進(jìn)行海量數(shù)據(jù)分析和挖掘。ODPS目前暫時只提供大規(guī)模數(shù)據(jù)存儲與離線數(shù)據(jù)分析服務(wù)。

ODPS的三大技術(shù)特點(diǎn)：

1. 安全性：當(dāng)提到多租戶、多使用概念時，用戶立刻會想到安全問題，如果數(shù)據(jù)平臺不能分享，解決安全問題會相對簡單，但將數(shù)據(jù)分享，并可跨越邊界被訪問時，就對安全提出了很大的挑戰(zhàn)。ODPS在這方面采用的是授權(quán)方式，對訪問數(shù)據(jù)庫的用戶嚴(yán)格授權(quán)，任何人的程序都無法看到或破壞里面的數(shù)據(jù)。另外，ODPS為了實(shí)現(xiàn)多租戶的獨(dú)立，做了三層的安全認(rèn)證體系，以保證用戶對于安全的需要。

2. 編程模型：對于一個框架來講，應(yīng)該支持可以擴(kuò)展多種編程模型。ODPS支持多種編程模型，因?yàn)殡x線都是處理流程，一個處理流程可以用不同的編程模型編寫。

3. 存儲模型：數(shù)據(jù)量越大，對于存儲的要求就越高，存儲的難度也會加大。ODPS在存儲的時候是將物理存儲和數(shù)據(jù)存儲分開，這樣可以有效解決數(shù)據(jù)的兼容性問題。從存儲模型層面減少IO，數(shù)據(jù)采用統(tǒng)一的展現(xiàn)形式——表。對小文件提供OTS存儲，另外，將元數(shù)據(jù)保存在OTS中，對高并發(fā)和規(guī)模擴(kuò)展提供了很好的方式。除此之外，在存儲模型上，還有帶壓縮的列存儲，可以有效減少IO，提高效率。

ODPS 有效的滿足了用戶對于數(shù)據(jù)的存儲和離線處理的需求。如何更進(jìn)一步的讓這些數(shù)據(jù)產(chǎn)生價值呢？

#p#    上海天津信息技術(shù)公司梁嵩認(rèn)為，數(shù)據(jù)挖據(jù)是未來企業(yè)經(jīng)營的核心，也是制高點(diǎn)，是統(tǒng)計學(xué)和數(shù)據(jù)庫技術(shù)和人工技術(shù)的綜合。大量的數(shù)據(jù)增長需要集中處理，同時，還要面對數(shù)據(jù)爆炸似增長帶來的挑戰(zhàn)，這就需要很大的計算能力。

對于互聯(lián)網(wǎng)用戶來說，搜索和精準(zhǔn)推薦是兩個實(shí)用的功能，可以幫助每個互聯(lián)網(wǎng)的用戶快速找到所需的工具。對于站長來說，這兩個功能的實(shí)現(xiàn)隨著數(shù)據(jù)信息量不斷積累，實(shí)現(xiàn)內(nèi)容的關(guān)聯(lián)性也越難。無論是從站長的角度還是用戶的角度來說，對于搜索和推薦都有著強(qiáng)烈的需求。

阿里云高級專家韓定一說：“用戶對由業(yè)務(wù)帶來的對搜索和精準(zhǔn)營銷的需求，要實(shí)現(xiàn)還要面對三大技術(shù)難點(diǎn)。第一是時效性和大規(guī)模，第二是精準(zhǔn)與覆蓋，第三是客戶定制的能力，包括不同數(shù)據(jù)結(jié)構(gòu)的定制，包括不同界面的定制。”同時，他表示大數(shù)據(jù)時代的個性化服務(wù)，營銷方式越精準(zhǔn)，用戶的成本越低，網(wǎng)站的收益越高。阿里云通過云推薦、廣告管家和開放云搜索來支持網(wǎng)站做精準(zhǔn)的個性化服務(wù)。

阿里云高級專家韓定一

據(jù)了解，阿里云在大規(guī)模處理方面能支持百億級別的訪問，能處理十億級別的網(wǎng)頁。除了廣告管家之外，阿里云推薦、開放云搜索都是實(shí)時的處理數(shù)據(jù)，保證了實(shí)效性。據(jù)統(tǒng)計，使用了阿里云推薦的用戶，平均有5%到10%的流量提升。

老話說的好，你不理財，財不理你！這對于大數(shù)據(jù)同理，數(shù)據(jù)如果只放在那里，它就只是一堆無用的信息，不會給你帶來任何價值。但隨著電子商務(wù)、移動互聯(lián)網(wǎng)的發(fā)展，企業(yè)需要重新審視數(shù)據(jù)，如何從數(shù)據(jù)挖掘出新的商業(yè)價值。未來，數(shù)據(jù)將是一個企業(yè)成長的血液，而我們必須讓它融進(jìn)企業(yè)的業(yè)務(wù)里。而阿里云正是為用戶提供了這樣一個“掘金”的工具。