大數(shù)據(jù)并不需要虛擬化，原因似乎很簡(jiǎn)單，因?yàn)樘摂M化技術(shù)的核心思想是資源池化，借助池化資源的調(diào)度來(lái)充分使用資源，提高資源的利用效率。但CPU利用率已達(dá)到70%～80%時(shí)，虛擬化顯然就沒(méi)有更多的意義了。

虛擬化并不是適應(yīng)所有場(chǎng)景的，例如HPC領(lǐng)域，虛擬化基本就派不上用場(chǎng)。分析一下大數(shù)據(jù)的應(yīng)用場(chǎng)景，其核心就是利用X86等相對(duì)廉價(jià)的服務(wù)器，對(duì)海量的價(jià)值密度相對(duì)低的非結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)進(jìn)行處理和分析，借助分布式文件系統(tǒng)(NFS)對(duì)數(shù)據(jù)進(jìn)行并行的海量處理。對(duì)于擔(dān)負(fù)計(jì)算節(jié)點(diǎn)任務(wù)的服務(wù)器而言，其處理能力應(yīng)該接近極限，因?yàn)椋绻?jì)算節(jié)點(diǎn)可以獨(dú)立承擔(dān)任務(wù)，甚至還有挖掘“潛力”的能力，那么，還要并行計(jì)算做什么?基于此，大數(shù)據(jù)應(yīng)用不需要虛擬化，這應(yīng)該是一個(gè)結(jié)論。

今年8月當(dāng)VMware宣布推出vSphere Big Data Extension方案的時(shí)候，多少讓人摸不著頭腦，大數(shù)據(jù)與虛擬化是怎么樣產(chǎn)生交集的呢?在10月30日～31日舉行的VMware vForum 2013會(huì)議期間，記者有幸采訪了VMware全球副總裁、CPD及全球研發(fā)兼中國(guó)研發(fā)中心總經(jīng)理李嚴(yán)冰博士，以及VMware云應(yīng)用平臺(tái)及服務(wù)中國(guó)總經(jīng)理任道遠(yuǎn)先生，任道遠(yuǎn)同時(shí)也是VMware中國(guó)研發(fā)中心副總經(jīng)理，同時(shí)兼任VMware上海研發(fā)中心的總經(jīng)理。

在解答我的疑問(wèn)之前，李嚴(yán)冰博士首先透露一個(gè)最新的任命，她將不再擔(dān)任VMware中國(guó)研發(fā)中心總經(jīng)理，將集中經(jīng)歷主管全球的研發(fā)工作，其職位將由任道遠(yuǎn)來(lái)接替。“雖然不再擔(dān)任中國(guó)研發(fā)中心總經(jīng)理，但在工作上與中國(guó)研發(fā)中心還有很多交集，仍然會(huì)一如既往關(guān)注VMware中國(guó)用戶的需求。”她說(shuō)。

接下來(lái)，李嚴(yán)冰博士回答了我的疑問(wèn)。她表示，的確很多人會(huì)認(rèn)為大數(shù)據(jù)不需要虛擬化。VMware之所以宣布vSphere Big Data Extension，也為了給用戶更多的選擇。用戶可以選擇物理機(jī)、也可以選擇虛擬機(jī)來(lái)構(gòu)建大數(shù)據(jù)應(yīng)用環(huán)境。而選用虛擬機(jī)將為用戶帶來(lái)更多的靈活性，讓系統(tǒng)能夠應(yīng)對(duì)不同規(guī)模的大數(shù)據(jù)應(yīng)用的需求。李嚴(yán)冰博士，需要看到Hadoop應(yīng)用環(huán)境部署還是相對(duì)復(fù)雜，對(duì)于技術(shù)人員有一定的要求，為了降低部署的復(fù)雜度，VMware vSphere Big Data Extension提供大量的集成性的工作，簡(jiǎn)化Hadoop的部署。

李嚴(yán)冰博士指出，如今大數(shù)據(jù)應(yīng)用更多集中在社交類媒體所產(chǎn)生的非結(jié)構(gòu)化數(shù)據(jù)，實(shí)際上，云計(jì)算也是大數(shù)據(jù)的制造者。據(jù)她透露，云計(jì)算環(huán)境中，僅快照應(yīng)用所產(chǎn)生的日志文件，每天就有6500萬(wàn)條之多。單純依靠人力，是沒(méi)有辦法應(yīng)對(duì)如此大量的日志文件。因此，管理人員希望借助大數(shù)據(jù)對(duì)日志進(jìn)行分析，從而滿足管理的需要。

透過(guò)vSphere Big Data Extension，VMware對(duì)外界傳遞了這樣的一個(gè)信息，軟件定義會(huì)給用戶帶來(lái)的成本節(jié)省和靈活性。為此，VMware提出了軟件定義數(shù)據(jù)中心(SDDN)的概念，從數(shù)據(jù)中心和云基礎(chǔ)架構(gòu)的vCloud Suite，到桌面虛擬化和移動(dòng)計(jì)算，VMware提供了一個(gè)完整的端到端的解決方案，用軟件定義的方式，賦予了云計(jì)算和移動(dòng)終端互聯(lián)網(wǎng)足夠的靈活性，滿足了管理需要。

云計(jì)算基礎(chǔ)架構(gòu)包括計(jì)算、網(wǎng)絡(luò)、存儲(chǔ)和管理，其中，以計(jì)算和管理最為成熟，VMware虛擬化方案得到廣泛認(rèn)可和部署。與此同時(shí)，網(wǎng)絡(luò)和存儲(chǔ)如何適應(yīng)變化和需要，已經(jīng)變得非常迫切。以網(wǎng)絡(luò)為例，網(wǎng)絡(luò)配置和部署不僅需要專業(yè)技術(shù)人員，同時(shí)也需要數(shù)周甚至更長(zhǎng)的時(shí)間，這就與計(jì)算資源靈活部署形成了鮮明對(duì)照。

目前VMware NSX虛擬化方案得到了很多網(wǎng)絡(luò)廠商的支持。李嚴(yán)冰博士表示，VMware也是Openflow標(biāo)準(zhǔn)推動(dòng)者，提供了很多源代碼的貢獻(xiàn)。在存儲(chǔ)方面，VMware VSDN方案以服務(wù)器本地磁盤為基礎(chǔ)，可以創(chuàng)建針對(duì)虛擬機(jī)優(yōu)化的分布式共享存儲(chǔ)結(jié)構(gòu)，為用戶提供更多的選擇。目前，網(wǎng)絡(luò)虛擬化、存儲(chǔ)虛擬化，較之服務(wù)器虛擬化還有些距離，但軟件定義的趨勢(shì)已經(jīng)成為了一種方向。

李嚴(yán)冰博士表示，VMware恰好趕上了這樣的一個(gè)趨勢(shì)。為把握好的趨勢(shì)，VMware的策略是更加開放，一方面支持OpenStack、OpenFlow這樣的開源組織，另外一方面也增加了對(duì)HyperV等產(chǎn)品支持。“我們希望打造一個(gè)生態(tài)環(huán)境，為用戶提供盡可能多的選擇。”李嚴(yán)冰博士說(shuō)。