【51CTO原創稿件】“實時計算的今天，業界都沒有一個準確的定義，什么叫實時計算？什么不是？這個概念沒必要去糾結。”阿里巴巴資深專家強琦（花名：和仲）對51CTO記者如是說。我們更應該關心的是實時計算的應用場景和未來發展狀況。本文中，和仲從實時計算的背景、部署及應用及等方面做了詳盡的介紹，關注實時計算的朋友們有福啦！一起來看看本文的采訪實錄吧。

[[82212]] 

以下為采訪實錄：

51CTO：和仲您好！首先請您做一下自我介紹。

和仲：我是零八年加入阿里巴巴的，之前一直在網易，也是做搜索引擎和分布式系統。到了阿里以后，主要從事搜索，廣告，分布式系統方面工作。目前致力于數據交換平臺建設，專注實時計算，流計算服務化平臺。

51CTO：您是一年前從廣告搜索轉崗了，現在主要是流計算服務平臺的。你們這個平臺每個人的職責都分的比較細嗎？

和仲：是，肯定是要分的很細。但是太細就會帶來組織的效率問題（這是另一個話題），搜索本質上是業務性，而目前的部門是平臺性，當然仍然會關注廣告搜索，但目前全集團的業務我們都需要支持，它是一個橫向支持的部門。比如阿里金融現在業務做的很好，這些業務的數據部分其實都是跑在我們這個事業部，比如計算信用度等等。它使用數據的深度和廣度是一般人想象不到的，它怎么去評估？就在我們的平臺上。業務用數據的程度決定了我們提供數據服務的廣度和深度。用戶的需求，業務的需求，需要我們把技術場景不斷的細分，通過細分來獲取細分場景的技術指標的不斷加強。我們的系統，平臺需要精細化，所以人的分工也需要精細化，但是我們每個人也需要橫向去了解其它系統和平臺。

51CTO：你們那邊都有實時的數據出來？

和仲：實時的有，但現在不多。其實要看業務的本質要求，比如信用是個長期的累積，很難因為一個瞬時的事件來劇烈影響信用。本身這個業務是不是個實時，那是要業務來看，不是我們來看。我們是一個被別人用的平臺，我們去服務業務的。不是說業務都上實時吧，沒法做那件事情。你的業務本身就是長期穩定的業務，穩定的態勢，就不需要實時數據的特性。如果業務上對數據的實時性有要求，那我們就會服務，就會支撐。當然，實時分為計算的實時和數據的實時。

 51CTO：提到實時計算，它產生的背景是什么？

和仲：業務、市場、用戶對互聯網產品需求越來越廣泛，需要你越來越個性化，越來越實時化。比如說廣告，現在我們廣告客戶想要看剛剛前一分鐘的投放效果，如果效果沒有達到預期，我們就可以根據實時計算，對后面的營銷策略做出及時地調整。比如說“雙十一”的促銷活動，它就一天。如果當天的營銷策略錯了，那么前期所有的準備就白費了，一年就玩進去了。

對于這種要看到分鐘級的營銷策略，比如說我看到用戶，今天喜歡買紫色的，趕緊把我的寶貝調整，紫色的圖做的更突出。所以它的營銷一定是個閉環，營銷分析做出決策。之前的決策鏈條是慢的，當然他希望快了好，現在需要它去做出更實時的數據來，做出更快的市場反應。而業務也是一樣的，比如說你是我的好友，你剛剛在淘寶上買了一個東西，我登錄后推薦給我這個東西，可能我的點擊率就高了。這些東西都是因為業務，而業務又因為用戶，其實為了滿足客戶。客戶如果有這種業務上的實時需求，數據更新鮮的話，必然會刺激到，最終我們的技術會延伸出這樣細分的場景來。這些都是因為用戶有這樣的需求。

但從另一個側面看，技術驅動。比如說手機，原來攝像頭，其他的功能都是附屬產品，而現在這些app已經是手機的必要功能了。其實還是這樣子，還是由用戶、業務、產品、系統、技術體系，一層一層下來，只不過是因為有互聯網的誕生，導致整個傳導過程會比較快。你想不到的，真的想不到。我們十年前上大學的時候，誰知道互聯網會如此，原來想要網上購物不可能的事情，就像馬云說的，淘寶的偉大在于，你把你的錢交到一個不認識的人手上，并且他也會承諾發貨給一個不認識的人，他通過一個不認識的人，送到你家里。這在以前是不可能的，不可想象的一件事情。但就這幾年的工夫，相信未來這種技術變革，周期會越來越快。

因為鏈條變化的非常快，影響受眾也特別多。以前的蒸汽機時代，從最開始有火車，到普通人能坐上火車，需要花好幾年的功夫。互聯網的受眾，今天有個什么東西，可能明天大家，普通的屌絲都用到。一個是鏈條快了，第二個受眾接受成本低了，受眾傳播的廣，所以力量才比較龐大。必然導致技術的變革也非常快，包括這些年的迭代計算，實時計算，這些全都出來。相信未來業務變革，產品變革的速度加快，技術的迭代，細分也會不斷加快。

51CTO：您目前比較專注于實時計算這個領域，實時計算和離線計算區別是什么呢？

和仲：他們有不同的維度。離線計算偏數據的準備過程，為了在線服務而準備數據的，不是adhoc的。它更側重的是成本，吞吐量。離線加工好的數據是需要加載到在線系統里面去服務用戶的，今天你去淘寶訪問，你接觸到的系統是在線系統，但是在線系統的數據是由離線加工來的。

51CTO：離線數據里的存儲？

和仲：對，是離線來加工的，大概是這么去分的。離線系統又分為批量計算、增量計算和流計算。如果一次就把所有的數據全計算完，那么它就是一個全量計算，批量計算指的是增量計算，流計算就是我今天專門講的，它對數據計算粒度更小，是一批數據，可能是幾條，有可能是幾百條，也有可能幾千條。它其實也是在離線計算的不同維度、不同技術的切入點去做這個東西。因為你剛剛說到的，離線計算，如果你都用全量計算的話，或批量計算的話，它會有些問題。但是它好處是因為吞吐高，所以成本比較低。但問題就是說，你現在看到的數據是老數據。很簡單，我給你舉一個例子，當然不一定是那么準確的，但是你可以去理解這件事情。如果今天賣家在淘寶上上了新的寶貝，你不能立刻看到，而是它上架一天以后你才能看到。這個對公司來說，影響就很大了，對于賣家來說影響到他的銷售，對于用戶來說體驗不好。所以你就需要更及時加工的手段，它秒級就能加工好。

實時計算的今天，業界都沒有一個準確的定義，什么叫實時計算？什么不是？這個概念沒必要去糾結。對用戶的響應是比較快的，可以這么籠統地去認為。其實大家自己心里都清楚，概念沒有分仔細，也沒有太大必要在概念上做文章。實時計算在離線和數據準備的角度來看，這個叫流計算，但是它在偏在線那部分。我們就叫它即時計算或者實時計算。

其實你光看概念，會覺得很亂，其實如果你知道它本身的技術，就會明白它其實是很清楚的一件事情。只是說計算是相對，數據的新鮮度是比較高的、比較快速的。在線的和離線的，那其實是不同維度。

51CTO：實時計算主要特點就是比較及時、比較快？

和仲：對，這也是它***的特點，舉個例子來說，全量計算更像是一個大食堂，一個鍋里炒一萬個人的菜，吞吐很高。但對于一個個體來說可能你一小時才吃到這口飯，肯定很不爽，所以實時計算更側重用戶體驗，對于個體來說很快可以拿到結果。那么很簡單，你就不要去吃大鍋了，去開小灶。針對不同的業務場景以及不同的客戶是有不同的解決方案，有時候這兩個方案能合起來。大鍋側重吞吐，小鍋側重延遲，沒有誰替換誰，而是不同場景對應不同技術，就跟產品業務一樣，這個市場在不斷地細分，技術產品在不斷地細分，隨著用戶的需求，業務的需求越來越多，技術肯定會演進，也會慢慢細分場景，慢慢細分出不同的技術體系。

51CTO：你們部署實時計算的主要步驟是什么？

和仲：其實部署是這樣的，***依賴環境的部署，你可能依賴了內部的系統，就是你依賴的系統，你首先部署好，第二個依賴的包要提前準備好。你要考慮集群，有哪些機器要去部署，可能一個系統里非常復雜，有五六個角色。你要清晰哪些應該部署的，哪些結點需要部署，包括角色的起動順序可能是不一樣的，有的應該是先啟動，有的后啟動。但一個可運維，易于運維的系統，應該與順序無關化。

我們要去判斷整個結點，系統是否處于一個可用的狀態，我們有相應的監控系統。但實際上，現在這么復雜的分布式系統如果還需要人肉運維，那基本上就悲劇了。現在的體系，包括運維，這種東西本身也是自動化的，也是個分布式系統。它就是幫你解決分布式系統本身的部署問題，這些也是專門的系統。但就會問了，那這個分布式部署系統由誰來部署？一定會有一個最根的地方，它是按照原來的方式去部署。

51CTO：部署的過程中，特別需要注意的，容易出問題的有哪些？

和仲：特別注意就是版本和依賴。

51CTO：是兼容問題嗎？

和仲：對，所有這些問題都可以通過運維系統來解決，避免人為出錯的概率，是人就有錯，就是這樣子。

好的，本次采訪就到這里，非常感謝和仲的分享！如果您想了解更多實時計算相關問題，歡迎您留言討論。