擁有MongoDB的大數(shù)據(jù)創(chuàng)業(yè)公司10gen日前宣布升級(jí)Hadoop連接器的版本，新增了很多重要的功能。其中包括對(duì)Hive(Hadoop的類SQL查詢語(yǔ)言)的支持和Hadoop對(duì)本地MongoDB文件的存儲(chǔ)能力，以及在同一MongoDB數(shù)據(jù)集運(yùn)行增量MapReduce作業(yè)的能力。

據(jù)10gen產(chǎn)品營(yíng)銷總監(jiān)Kelly Stirman介紹，MongoDB的Hadoop連接器已經(jīng)發(fā)布一段時(shí)間了，應(yīng)用也十分廣泛。上周二(8月20日)的升級(jí)是自2012年4月Hadoop連接器正式發(fā)布以來(lái)最重要的一次更新。

也許很多人沒(méi)有發(fā)現(xiàn)，MongoDB和Hadoop在過(guò)去幾年里已經(jīng)變得非常流行。MongoDB之所以成為很多網(wǎng)絡(luò)和移動(dòng)應(yīng)用的業(yè)務(wù)數(shù)據(jù)庫(kù)，是因?yàn)樗С諮SON文件類型;Hadoop也成為很多公司大數(shù)據(jù)處理和分析的平臺(tái)，尤其是大型網(wǎng)絡(luò)公司和財(cái)富500強(qiáng)企業(yè)。Kelly Stirman稱這兩種技術(shù)往往同時(shí)部署在企業(yè)中。

上圖的右側(cè)部分目前已加入Hive

Kelly Stirman 補(bǔ)充道，MongoDB連接器目前已經(jīng)很受歡迎，因?yàn)樗鼘?shí)際上是讓用戶在MongoDB數(shù)據(jù)庫(kù)中處理數(shù)據(jù)，而不是把數(shù)據(jù)傳送到Hadoop中進(jìn)行處理。在現(xiàn)有的對(duì)MapReduce和Pig的支持的基礎(chǔ)之上新增了對(duì)Hive的支持，能夠讓MongoDB更受歡迎。因?yàn)镠ive擁有類SQL查詢語(yǔ)言的本質(zhì)，通過(guò)這種連接器的方式可以使公司更好的利用Hadoop中的數(shù)據(jù)。數(shù)據(jù)庫(kù)創(chuàng)新公司Drawn to Scale也曾增加過(guò)一個(gè)類似的功能——基于MongoDB數(shù)據(jù)的SQL查詢(SQL queries on MongoDB data)——但在今年初夏時(shí)，該公司已經(jīng)倒閉。

在Hadoop分布式文件系統(tǒng)(HDFS)中新增對(duì)MongoDB本地BSON文件的支持，意味著用戶可以將數(shù)據(jù)庫(kù)文件備份到Hadoop中，同時(shí)可以在Hadoop里處理這些數(shù)據(jù)，避免在MongoDB集群中增加回撤的負(fù)載。

Kelly Stirman將MongoDB集合上運(yùn)行增量MapReduce更新的能力稱為“濃縮處理”。在這之前，用戶只能運(yùn)行存儲(chǔ)在數(shù)據(jù)庫(kù)全新集合中的 MapReduce作業(yè)。這一名為“MongoUpdateWriteable”的新功能，能夠讓用戶在現(xiàn)有集合中運(yùn)行MapReduce作業(yè)。這種快捷的方式能夠捕捉MongoDB集合每天的變化，而不是在每次運(yùn)行MapReduce作業(yè)時(shí)都對(duì)比輸出的變化或者查詢新的集合。

數(shù)據(jù)庫(kù)行業(yè)專家可能會(huì)質(zhì)疑這些特性僅僅是改善現(xiàn)有MongoDB-Hadoop生態(tài)環(huán)境的功能性，或者它們是否將以某種方式影響MongoDB的市場(chǎng)份額。 Kelly Stirman認(rèn)為可能是后者，至少對(duì)于已經(jīng)使用Hadoop的公司來(lái)說(shuō)，MongoDB更有吸引力。10gen公司在銷售周期中常常陷入與 Cassandra和HBase的競(jìng)爭(zhēng)中，但是現(xiàn)在“從本質(zhì)上說(shuō)，這三種數(shù)據(jù)庫(kù)對(duì)于Hadoop而言地位相當(dāng)。”

地位相當(dāng)?或許是這樣的，至少人們?cè)敢庥肏adoop的規(guī)模性彌補(bǔ)數(shù)據(jù)庫(kù)較低的可擴(kuò)展性。當(dāng)然根據(jù)不同應(yīng)用的特點(diǎn)，企業(yè)用戶仍有充足的理由選擇MongoDB以外其他的NoSQL數(shù)據(jù)庫(kù)。

原文鏈接：http://tech.it168.com/a2013/0825/1525/000001525378.shtml