暢談“分布式流數據持續計算”

“從全量計算走向迭代計算、實時計算，”“基于實時數據的算法明顯提升效果20%”……

近日，在剛剛結束的支付寶“技術風云會”上，來自阿里巴巴、思科和騰訊的工程師分享了對于“分布式流數據持續計算”的理解和各自的“招數”。

支付寶技術風云會是由支付寶技術大學組織的線下技術交流活動，而C3沙龍是由業內關注云計算應用和發展的工程師自主發起，專注于專業領域的互動交流平臺。今年6月，C3沙龍與支付寶“技術風云會”合作，將沙龍交流平臺引入杭州，從而為“南派”技術人員的分享交流提供了舞臺。

在交流活動中，來自阿里巴巴B2B公司技術部搜索平臺部的資深專家強琦分享了關于“持續計算”的架構問題。

“我們需要從全量計算走向迭代計算、實時計算，”強琦說，“實時數據的特點是到達時間、數據順序、數據質量、數據規模等不可控，處理算子對全局狀態的影響不同等，要求分析系統要有強大的體系架構和容錯方案。分布式實時流數據計算平臺 IProcess可以做到滿足任務優先級、調度、容錯、流式計算等多個特點，并且支持事務，架構領先，業內領先”。

來自騰訊公司的工程師張文郁分享了關于騰訊“實時推薦數據流系統”的內容，這是與“分布式流數據”相關的具體例證。

“靜態數據正在向動態數據的轉變，必須讓數據分析有質的變更”，張文郁分享說，數據中心從離線走向準實時是革命性變化，面向客戶、面向終端，帶來更具有突破性的商業價值;這套系統基于實時數據的算法明顯提升效果20%，效果明顯，數據的價值挖掘到更大。

來自思科公司的工程師Denny & Dean則分享了.思科流式分析系統設計的考量和需求，介紹了思科在hadoop之上開發出的處理實時數據流轉的StreamAnalytics系統。