在數(shù)據(jù)中淘金前要準(zhǔn)備好三件利器
原創(chuàng)作者：張玉
如果說(shuō)阿里巴巴是國(guó)內(nèi)最有價(jià)值的商業(yè)數(shù)據(jù)公司，你同意嗎？我們都知道阿里巴巴旗下有7大業(yè)務(wù)，其中像淘寶和天貓每天都會(huì)產(chǎn)生大量的交易數(shù)據(jù)，據(jù)統(tǒng)計(jì)2011年，淘寶注冊(cè)用戶達(dá)到5億，每天在線商品數(shù)超過(guò)8億件，形成了電子商務(wù)生態(tài)圈。
隨著互聯(lián)網(wǎng)技術(shù)及行業(yè)的不斷發(fā)展，越來(lái)越多復(fù)雜的互聯(lián)網(wǎng)平臺(tái)或應(yīng)用架構(gòu)產(chǎn)生，大規(guī)模數(shù)據(jù)的處理需求日益明顯，而如何有效挖掘這些大數(shù)據(jù)也正在成為大家關(guān)注的焦點(diǎn)。在這種形式下，云計(jì)算應(yīng)運(yùn)而生。云計(jì)算滿足了企業(yè)對(duì)海量數(shù)據(jù)的低成本、高效處理，實(shí)現(xiàn)了不同類(lèi)型數(shù)據(jù)的大量存儲(chǔ)與海量計(jì)算。如何在“大數(shù)據(jù)”技術(shù)上用云計(jì)算構(gòu)建下一代數(shù)據(jù)倉(cāng)庫(kù)、如何有效分析挖掘數(shù)據(jù)已經(jīng)成為熱門(mén)話題。
阿里巴巴集團(tuán)數(shù)據(jù)平臺(tái)總監(jiān)張東暉
如果說(shuō)阿里巴巴是國(guó)內(nèi)最有價(jià)值的商業(yè)數(shù)據(jù)公司，你同意嗎？我們都知道阿里巴巴旗下有7大業(yè)務(wù)，其中像淘寶和天貓每天都會(huì)產(chǎn)生大量的交易數(shù)據(jù)，據(jù)統(tǒng)計(jì)2011年，淘寶注冊(cè)用戶達(dá)到5億，每天在線商品數(shù)超過(guò)8億件，形成了電子商務(wù)生態(tài)圈。2011年11月11日，日成交超過(guò)100萬(wàn)的店鋪有421家，日成交超過(guò)10萬(wàn)的店鋪有1644家。日成交金額達(dá)到52億。如果說(shuō)阿里巴巴坐在金山上，也許一點(diǎn)都不為過(guò)。
在2012阿里云開(kāi)發(fā)者大會(huì)大數(shù)據(jù)與大規(guī)模計(jì)算專(zhuān)場(chǎng)，阿里巴巴集團(tuán)數(shù)據(jù)平臺(tái)總監(jiān)張東暉表示，做到數(shù)據(jù)掘金，要做到三件事情：1.好的商業(yè)模型，像阿里金融一樣2.強(qiáng)大的數(shù)據(jù)團(tuán)隊(duì)3.淘金工具
ODPS是構(gòu)建在飛天內(nèi)核上的大規(guī)模分布式數(shù)據(jù)處理服務(wù)，提供海量數(shù)據(jù)處理服務(wù)，這個(gè)系統(tǒng)主要是做離線處理。據(jù)張東暉介紹，這個(gè)ODPS系統(tǒng)有效幫助用戶解決和六大基本問(wèn)題，張暉介紹，目前數(shù)據(jù)處理系統(tǒng)面臨六大挑戰(zhàn)
***，高可用系統(tǒng)，飛天開(kāi)放平臺(tái)的內(nèi)核本身是一個(gè)很好的分布式系統(tǒng)，對(duì)于大數(shù)據(jù)處理不丟數(shù)據(jù)。
第二，對(duì)電子商務(wù)能夠做數(shù)字業(yè)務(wù)，其工作量是非常大的，規(guī)模的要求是大到幾萬(wàn)臺(tái)機(jī)器都不能滿足需要。
第三是安全性，比其他的一般處理的安全性，商業(yè)數(shù)據(jù)的安全要求非常高，隨著技術(shù)的進(jìn)步數(shù)據(jù)一定是要放在一起的，但是在一個(gè)很大的集群中，支付寶的數(shù)據(jù)完全隔離，不會(huì)被非法地訪問(wèn)，也不會(huì)被非法的任務(wù)破壞，這是一個(gè)很大的挑戰(zhàn)。
第四是正確性，正確性需要滿足阿里金融無(wú)擔(dān)保貸款，這是一個(gè)非常難的事情，一旦擔(dān)保數(shù)字算的不對(duì)的話，會(huì)帶來(lái)很大的問(wèn)題。所有的數(shù)據(jù)都是要保證分毫不差。
第五，是服務(wù)型，包括多租戶，我們后面從技術(shù)上講一些技術(shù)的挑戰(zhàn)。
第六，低成本，集群的調(diào)度系統(tǒng)，包括飛天的調(diào)度系統(tǒng)，是做的非常出色的。調(diào)度系統(tǒng)是滿重要的，另外業(yè)務(wù)和工作的調(diào)度也更高一層，這需要充分利用資源，根本的解決方案只是靠底層的調(diào)度還是不夠的，這也是ODPS做的比較多的。
責(zé)任編輯：張玉
來(lái)源：
51cto
