又到了收貨的季節(jié)。深秋與初冬交接，剛剛醞釀完一年情緒的女人們，帶著滿臉的期待，血液的溫度開始上揚，微微張開的毛孔，配上快遞員呼嘯而過留下的微風(fēng)，這滋味，剛剛好。對于辛勤勞作的人們來說，這也正是一年中享受這個時代寶貴饋贈的時刻——雙十一！

對于雙十一，關(guān)注它火爆的人太多。且聽阿里數(shù)據(jù)猿來談?wù)劊p十一背后的大數(shù)據(jù)，是如何快速運轉(zhuǎn)和保證數(shù)據(jù)質(zhì)量不出錯的。

一筆交易數(shù)據(jù)檢查70余次 

相信有不少人認(rèn)為，自己能產(chǎn)生數(shù)據(jù)，卻不明白數(shù)據(jù)是如何為自己服務(wù)的。其實，你的每一步操作，都需要靠數(shù)據(jù)來保障。假如你是一個美國用戶，剛剛看上一件庫存只剩一件的衣服，你趕忙下單并付好款。如果此時，正好國際間網(wǎng)絡(luò)突然出現(xiàn)了閃斷，你“已付款”這個狀態(tài)的數(shù)據(jù)并沒有從支付寶傳輸?shù)教詫毜南到y(tǒng)中來。那么，在網(wǎng)頁上，就有可能依然是“等待付款”狀態(tài)。

為了讓大家避免遇到類似狀況，保障購物體驗“如絲般順滑”，阿里特別推出了一項秘密武器，對線上每筆交易進行實時檢測。一旦發(fā)現(xiàn)數(shù)據(jù)出現(xiàn)問題，就會立即報警并且提交給相關(guān)技術(shù)人員處理。每筆交易，都要對其中的相關(guān)數(shù)據(jù)檢查超過70次。

 秒至毫秒級別實時計算

去年雙十一，幾百媒體圍著一塊4500公斤的大屏歡呼。那里面實時展示的數(shù)據(jù)，正是基于我們的實時計算而來。Galaxy，是阿里自研的通用增量計算平臺，能提供秒級別甚至毫秒級別延遲的實時數(shù)據(jù)計算能力。

Galaxy解決了計算通用性、開發(fā)成本、數(shù)據(jù)質(zhì)量等諸多難題，并提供可擴展、規(guī)模化的集群服務(wù)能力。相對于傳統(tǒng)的批量計算模型MapReduce，Galaxy提出了通用增量計算框架，在此之上提供算子層和SQL語法，大大降低了用戶門檻和開發(fā)運維成本。

而實時計算的運用場景，可不只是為了做個大屏讓大家熱鬧一下。它的服務(wù)對象已經(jīng)覆蓋內(nèi)部包括淘寶、天貓、聚劃算、無線、搜索、廣告、數(shù)據(jù)產(chǎn)品、菜鳥、安全、阿里云等多個BU或業(yè)務(wù)線，為廣告、內(nèi)容投放、數(shù)據(jù)魔方等產(chǎn)品或應(yīng)用提供實時計算服務(wù)。你剛剛看完口罩，馬上就能看到廣告位上出現(xiàn)的空氣凈化器，正是實時計算的一項應(yīng)用。

宕機也不怕丟數(shù)據(jù)

正如上述案例中，如果出現(xiàn)數(shù)據(jù)丟失，對于用戶來說將會是一次非常糟糕的體驗。在阿里內(nèi)部，保障數(shù)據(jù)質(zhì)量，也是所有產(chǎn)品和系統(tǒng)應(yīng)用的前提條件。實時計算系統(tǒng)，也是如此。

在數(shù)據(jù)準(zhǔn)確性和有狀態(tài)計算方面，Galaxy提供了高可靠的容錯機制，確保任意場景下的“不多不少”的精確語義；在內(nèi)存快照與容錯機制配合下有效解決了有狀態(tài)計算依賴全局存儲帶來的吞吐下降的問題。

在這套機制下，哪怕出現(xiàn)了計算的服務(wù)器宕機，galaxy還是能從之前的數(shù)據(jù)流中找回丟失的數(shù)據(jù)，“媽媽再也不用擔(dān)心宕機會丟數(shù)據(jù)了！”

千萬條數(shù)據(jù)計算僅需1秒

大數(shù)據(jù)需要在應(yīng)用中發(fā)揮出價值，考驗的是海量數(shù)據(jù)的處理能力。需要指出的是，隨著時間的推移，大部分?jǐn)?shù)據(jù)的價值越來越低。實時計算的出現(xiàn)，正是極速加快了數(shù)據(jù)閉環(huán)的周期，讓數(shù)據(jù)更值錢。

目前， galaxy每秒可計算數(shù)據(jù)已達500萬條，每日處理的記錄數(shù)超過2500億，日處理數(shù)據(jù)量近2PB。預(yù)計今年雙十一，Galaxy的計算量每秒將超過1000萬，日處理消息數(shù)將超過1萬億條。

作者為阿里集團著名碼農(nóng)，負(fù)責(zé)阿里數(shù)據(jù)治理。曾多次主導(dǎo)阿里雙十一數(shù)據(jù)保障系統(tǒng)，多個數(shù)據(jù)系統(tǒng)負(fù)責(zé)人。