據(jù) InformationWeek近日的一則消息顯示，DARPA(美國國防高級(jí)研究計(jì)劃局)將給分析公司Continuum Analytics投資300萬美元，用于開發(fā)Python的數(shù)據(jù)分析和處理庫。這筆資金來自其將在四年內(nèi)投資1億美元來改善大數(shù)據(jù)技術(shù)的XDATA項(xiàng)目，這個(gè)項(xiàng)目旨在“開 發(fā)用于分析國防活動(dòng)中海量面向任務(wù)信息的 計(jì)算技術(shù)和軟件工具”。

Continuum Analytics將致力Blaze和Bokeh庫的開發(fā)：Blaze用于科學(xué)計(jì)算，而Bokeh則是一個(gè)可視化系統(tǒng)。

其中，Blaze將同時(shí)擴(kuò)展現(xiàn)有的數(shù)學(xué)計(jì)算庫NumPy和科學(xué)計(jì)算庫SciPy，使其更適應(yīng)大數(shù)據(jù)庫技術(shù)。Blaze將聚焦在內(nèi)核外處理超過系統(tǒng)內(nèi)存容量的大型數(shù)據(jù)集，并同時(shí)支持分布式數(shù)據(jù)和流數(shù)據(jù)。

而Bokeh則是一個(gè)用于大數(shù)據(jù)可視化的Python庫，Continuum稱之為用于大型數(shù)據(jù)集的“可擴(kuò)展、交互式以及易于使用的可視化系統(tǒng)”。Bokeh將整合許多可視化技術(shù)，將包含Stencil可視化模型和Grammar of Graphics。

Python的運(yùn)行效率可以用“低下”來形容了，那么究竟又是什么讓它與大數(shù)據(jù)擦出了火花?首先要先看一下Python語言自身的優(yōu)勢：

1. 易于學(xué)習(xí)的Python

眾所周知，大多數(shù)的大數(shù)據(jù)分析工作都不是開發(fā)者在做，這樣易于學(xué)習(xí)的Python就有了被Continuum Analytics與DARPA同時(shí)看重的理由。就像該公司董事長Peter Wang說：“如果他們可以學(xué)習(xí)一門簡單的語言，他們將不需要額外的軟件開發(fā)部門去參與數(shù)據(jù)分析。”

2. 解釋性語言Python

基于解釋語言的特性，使用Python進(jìn)行開發(fā)無疑可以數(shù)倍的提升編碼效率;不到C++/Java一半的代碼行將大幅度減少開發(fā)過程和維護(hù)階段的工作量，相信不會(huì)被大部分開發(fā)者討厭。

上文說到Python受開發(fā)者喜愛的兩個(gè)方面：易于學(xué)習(xí)和高效的編碼效率;然而作為解釋性語言，Python的運(yùn)行效率必然不會(huì)很快，而快于Python幾倍、甚至幾十倍的語言也是一抓一大把，那么Python在海量的數(shù)據(jù)處理中還會(huì)具備優(yōu)勢嗎?

大數(shù)據(jù)vs. Python

俗話說具體問題具體對(duì)待，而一般我們從本質(zhì)上把大數(shù)據(jù)應(yīng)用場景分為兩個(gè)方面：

1. CPU密集型操作

在CPU密集型操作情況下，我們需要對(duì)海量的數(shù)據(jù)進(jìn)行計(jì)算;而剛剛說到作為解釋性語言Python有著“相對(duì)杯具”的運(yùn)行效率，那么在像求逆矩陣、向量相似度等對(duì)語言高效性非常依賴的情景下，讓Python去做這些必然會(huì)造成性能下降和負(fù)載增加。然而別忘了Python還有個(gè)昵稱 —— 膠水語言，其集成機(jī)制可以輕松的聯(lián)結(jié)使用其它語言編寫的模塊，比如：C、C++、Java。這樣我們就可以完全根據(jù)情況需要，使用Python來做框架，在核心CPU密集操作部分調(diào)用C或者其它高效語言。這樣開發(fā)效率和性能都得以保障，至于對(duì)開發(fā)團(tuán)隊(duì)要求的增高就是另外一回事了。

2. I/O密集型操作

在這個(gè)場景下，我們經(jīng)常做的是頻繁的I/O操作、頻繁的輸入/讀取文件系統(tǒng)，但是不會(huì)涉及到復(fù)雜的計(jì)算。出于這些操作通常都是調(diào)用操作系統(tǒng)接口來完成，所以對(duì)語言的要求顯然不會(huì)太高。

從DARPA得到助力的不只是Python一個(gè)領(lǐng)域，下面看一下最近從DARPA獲得資金的項(xiàng)目：

近期得到DARPA慷慨解囊的機(jī)構(gòu)

在2012年11月，數(shù)據(jù)可視化和軟件公司Kitware收到一筆400萬美元的資金，用于和軟件公司KnowledgeVis及一些高校一起開發(fā)名為Visualization Design Environment的開源數(shù)據(jù)聚合、查詢和可視化工具包。

其后2012年12月，喬治亞理工學(xué)院公布他們獲得了270萬美元資金;這些資金用于在可擴(kuò)展的機(jī)器學(xué)習(xí)技術(shù)和分布式計(jì)算架構(gòu)上的研究，致力研發(fā)快速處理數(shù)據(jù)分析的算法。同樣在新機(jī)器學(xué)習(xí)軟件方面，Scientific Systems Company也獲得了數(shù)額不詳?shù)馁Y金。

2月，數(shù)據(jù)庫開發(fā)者兼軟件資訊公司SYSTAP獲得XDATA項(xiàng)目的200萬美元，這筆資金用于建立一個(gè)開源圖分析平臺(tái)(使用GPU計(jì)算集群)。