對于 MapReduce 和 Spark 來講，這些數據是一大批數據，也稱之為有界數據，對這些數據的計算就稱為批計算。

隨著移動互聯網、物聯網的興起，每分每秒都在產生大量的數據，例如傳感器產生的數據、訂單交易數據、用戶行為記錄等。這些無時不刻都在產生的數據，我們稱之為無界數據或流數據。通常被用于用戶行為分析進行實時推薦、銷售數據實時分析進行營銷策略調整等場景。

MapReduce 和 Spark 這樣的批計算系統就滿足不了實時計算的需求。所以就誕生了 Storm、Spark Streaming、Flink這些流計算系統。

批計算和流計算整體工作流程大體一致，都有任務調度、計算結果聚合等過程。只不過因為數據源的原因，執行細節上會有所不同。這里有幾個概念需要進行區分，避免混淆：

• 資源（計算節點）分配：

批計算是對一批數據進行一次計算，所以在每次調度計算任務時分配資源，計算完成后，對應的資源就會被釋放，下次在執行時重新分配資源。

流計算是對實時流進系統的數據進行不間斷的計算，所以計算資源會一次分配完成，后續的計算任務會一直運行，直到程序異常任務停止才會釋放資源。

• 任務調度：

• 批計算是因為歷史數據量過大，數據源是分布在各個節點的數據塊，所以會根據數據所在地進行任務調度（數據、計算本地化）。

• 流計算數據源通常是Socket、Kafka中的一條條數據，所有的計算任務在這之前已經根據并行度調度到各個節點，數據來臨時根據某個策略分配給某個計算任務。

由于 Spark Streaming 是建立在 Spark 基礎上，所以任務執行還是 Spark 的邏輯，所以 Spark Streaming 算是一個“偽”流計算系統，屬于批計算這一波。

簡單來說 Spark Streaming 通過很小的時間間隔（例如1秒）將實時數據收集為“微批”數據，然后然后交給 Spark 處理。

圖片

Spark Streaming 微批數據

因為是間隔一段時間再去計算，所以在實時性方面，Spark Streaming 就不如 Flink，現在說起流計算基本上就是在討論 Flink 了。不過兩者的架構和概念有很多相似的地方，也都是函數式編程。如果掌握了 Spark ，學習 Flink 也就非常簡單輕松了。

至于 Storm ，作為早期的實時計算引擎并不支持有狀態計算和exactly-once的語義，以及編碼相對復雜，所以現在也慢慢被大家遺忘。

如果有“Spark Streaming 收集的數據是怎么分區的？”、“什么是有狀態計算和exactly-once語義？”、“Flink 是如何做到數據、計算本地化？”