【51CTO.com快譯】Apache的流數(shù)據(jù)處理系統(tǒng)攜手Spark，旨在進(jìn)一步提升性能水平并改進(jìn)調(diào)試功能。

[[165682]]

大數(shù)據(jù)專(zhuān)家們?cè)谟懻揂pache Spark與Apache Storm之間的流數(shù)據(jù)處理能力時(shí)，往往給出共識(shí)性的結(jié)論：Storm確實(shí)擁有更好的規(guī)模化能力與速度表現(xiàn)，但使用難度較高。另外，其正在逐漸被Spark所取代——因此選擇更新且更為熱門(mén)的Spark往往成為主流觀點(diǎn)。

有鑒于此，Apache Storm 1.0版本希望重新扳回一城——其不僅進(jìn)一步提升了速度表現(xiàn)，還大幅降低了使用難度。

Apache于4月公布了Apache Storm 1.0版本，并表示新版本較上代方案“***提速16倍”，且延遲水平降低60%。“對(duì)于大多數(shù)用例而言，用戶(hù)都能夠享受達(dá)到前代版本3倍的性能表現(xiàn)。”

此次新版本進(jìn)行了一系列戰(zhàn)略修復(fù)以實(shí)現(xiàn)上述性能改進(jìn)，具體包括將數(shù)據(jù)與特定Storm方案相關(guān)聯(lián)的新型分布式緩存API，或者所謂“拓?fù)?rdquo;——其規(guī)模可達(dá)數(shù)GB，并在不同節(jié)點(diǎn)之間實(shí)現(xiàn)共享且利用命令行進(jìn)行更新。換言之，管理員不再需要以手動(dòng)方式對(duì)各個(gè)節(jié)點(diǎn)進(jìn)行重新部署。另外，該數(shù)據(jù)提取自本地文件系統(tǒng)，但亦可被存儲(chǔ)在Hadoop HDFS當(dāng)中。

新版本還引入了新的批量處理方法，其同樣實(shí)現(xiàn)了可觀的速度提升，但延遲卻僅僅略微增加。

1.0版本中的大部分改動(dòng)都使得Storm更易于使用。在Storm的早期版本中，調(diào)試機(jī)制通常要求用戶(hù)編寫(xiě)定制化“bolts”(處理功能)以提取實(shí)時(shí)數(shù)據(jù)。而在1.0版本內(nèi)，用戶(hù)能夠直接截取Storm全部流量中的1%作為樣本，并通過(guò)UI進(jìn)行查看或者保存在磁盤(pán)中以備后續(xù)查詢(xún)。同樣的，1.0版本還提供新的日志搜索功能，允許用戶(hù)對(duì)Storm管理節(jié)點(diǎn)的完整拓?fù)溥M(jìn)行日志搜索。

Storm面臨的競(jìng)爭(zhēng)壓力并不單純來(lái)自Spark，而且其性能與易用性指標(biāo)也都遭受到挑戰(zhàn)。Apex項(xiàng)目作為一套數(shù)據(jù)流框架——亦被稱(chēng)為DataTorrent RTS——號(hào)稱(chēng)能夠?qū)崿F(xiàn)“10到100倍”于Spark的數(shù)據(jù)流處理速度，且開(kāi)發(fā)與部署難度低于Spark以及Storm。

原文標(biāo)題：Apache Storm 1.0 packs a punch

【51CTO.com獨(dú)家譯文，合作站點(diǎn)轉(zhuǎn)載請(qǐng)注明來(lái)源】