Spark是一個基于內存計算的開源的集群計算系統（點此下載），目的是讓數據分析更加快速。Spark非常小巧玲瓏，由加州伯克利大學AMP實驗室的Matei為主的小團隊所開發。使用的語言是Scala，項目的core部分的代碼只有63個Scala文件，非常短小精悍。與Hadoop不同的是，Spark和Scala緊密集成，Scala像管理本地collective對象那樣管理分布式數據集。

Edwin認為：”MapReduce或hadoop任務都是批處理，所以啟動一項Hadoop任務，或等待結果返回都需要等待很長時間，這一點很難改變，因為Hadoop天生就是一個批處理系統，你無法在上面運行互動分析。不過Hadoop對于分析海量數據還是很有用的。”

Spark開發之初是為了兩個能被內存計算提速的應用：互動算法（常見于機器學習中，例如Google的PR）和互動數據挖掘（Hive on Spark）。在這兩個應用中，Spark的速度是Hadoop MapReduce的30倍！這是因為運行Spark系統時，服務器可以把中間數據存儲在RAM內存中，而無需經常從頭加載。這意味著分析結果的返回速度大大加快，足以勝任互動分析工作。（見下圖）

在Spark的出生地——加州伯克利大學的AMP實驗室，研究人員用Spark分析垃圾郵件過濾、自然語言處理以及交通路況預測等任務。Spark還被用來給Conviva、Klout和Quantifind等公司的數據分析服務提速。無疑，Spark處理分布式數據集的框架不僅是有效的，而且是高效的（通過簡潔的Scala腳本）。Spark和Scala目前都還尚處于開發中。盡管如此，隨著加入更多的關鍵互聯網特性，它越來越從有趣的開源軟件過渡為基礎的web技術。