大數(shù)據(jù)的虛擬化：企業(yè)IT發(fā)展潮流
大數(shù)據(jù)的虛擬化：企業(yè)IT發(fā)展潮流
大數(shù)據(jù)的虛擬化是當前大數(shù)據(jù)以及Hadoop社區(qū)的一個發(fā)展趨勢。Gartner在2013年6月舉行的Hadoop Summit大會上提到，為了讓Hadoop等大數(shù)據(jù)技術真正落地企業(yè)，我們要從具體業(yè)務需求出發(fā)，驅動大數(shù)據(jù)相關技術和產品的進一步發(fā)展，逐漸告別之前技術驅動的創(chuàng)新。Gartner同時指出，虛擬化是這個新階段的重要趨勢。隨著全球企業(yè)IT虛擬化的比例突破三分之二，以虛擬化為基礎的軟件定義的數(shù)據(jù)中心對企業(yè)來講變得越來越普及和重要，大數(shù)據(jù)在這樣的浪潮下如何影響和融入現(xiàn)有企業(yè)數(shù)據(jù)中心的基礎架構變成了現(xiàn)實的挑戰(zhàn)。本博客將圍繞這個話題，從運維、技術、和解決方案的角度給出具體內容。
到底什么是大數(shù)據(jù)的虛擬化?
解答這個問題首先要回顧企業(yè)IT為什么要做虛擬化?我認為原因有以下幾點：
1. 虛擬化能夠顯著提升服務器的利用率，通過整合服務器資源達到更佳的利用率。
2. 以x86服務器為代表的虛擬化本身的擁有成本相對小型機和軟硬件一體設備來講，更經(jīng)濟;而且性能表現(xiàn)一點也不遜色，橫向擴展更是巨大優(yōu)勢。
3. 虛擬化在云計算(無論是公有云還是私有云)中承擔著很重要的基礎工作。沒有虛擬化技術，云計算的彈性和多租戶往往難以得到真正落實。
4. 虛擬化已經(jīng)可以支撐企業(yè)關鍵應用(如ERP、郵件服務器、業(yè)務生產數(shù)據(jù)庫等)，這證明在虛擬化和性能穩(wěn)定性之間已經(jīng)不再需要二選一。此外，眾多成功案例和技術白皮書也可以幫助更多客戶加強信心。虛擬化邁向全面成熟的標志已經(jīng)樹立。
顯然企業(yè)虛擬化的進程不會停止，目前包括VMware在內的領導廠商都在拓展虛擬化2.0。不僅是服務器(計算資源)虛擬化，包括存儲和網(wǎng)絡等過去相對難以直接被虛擬化所用的孤島都出現(xiàn)了最前沿的創(chuàng)新推動，例如“軟件定義數(shù)據(jù)中心”、“存儲虛擬化”、“網(wǎng)絡虛擬化”等熱點，都已經(jīng)出現(xiàn)了具體的產品和解決方案。
大數(shù)據(jù)的虛擬化，是將大數(shù)據(jù)的工作負載運行或遷移到虛擬化的基礎環(huán)境中。除了自然地繼承以上所談到的虛擬化的普遍優(yōu)點，值得一提的還有幾個特殊的好處：
1. 由于大數(shù)據(jù)基礎架構在起步時往往難以確定需要多少計算和數(shù)據(jù)節(jié)點，這些節(jié)點用物理服務器需要一一去堆。如果沒有專家團隊支持，將會非常耗時費力，而且將來擴展非常不方便，利用率極低，管理效率問題相當突出。虛擬化不僅可以快速部署集群，更可以靈活管理它們，同時顯著提高利用率。
2. 大數(shù)據(jù)混合使用共享存儲和本地存儲，用來提高性能。虛擬化可以完全滿足這些需求，并且讓我們靈活的擴展和設計策略。
3. 虛擬化可以將大數(shù)據(jù)從底層向上對外形成多租戶和數(shù)據(jù)分析服務，很好的隔離計算環(huán)境，為推動大數(shù)據(jù)即服務奠定基礎。
4. 虛擬化還有利于整合和集成其它的數(shù)據(jù)應用在統(tǒng)一的虛擬化平臺上，大大降低IT基礎架構的復雜度和運維成本。
我想以上不僅解釋了什么是大數(shù)據(jù)的虛擬化，也說明了這個市場的存在價值。那么我們還需要什么?知識和技能。企業(yè)面臨的最大問題不是實在的需求，而是沒有專業(yè)的人才去發(fā)現(xiàn)和處理它;57%的企業(yè)認為他們急需掌握具體技術和知識的人才;同時，管理和安全也是一大挑戰(zhàn)，占37%。這些數(shù)字都印證了虛擬化存在的必要性和價值。(數(shù)據(jù)來自微軟公司在Hadoop Summit 2013上的報告)
關于大數(shù)據(jù)的虛擬化這個嶄新的話題，我想市場上可能還沒有多少人可以了解具體如何實現(xiàn)它，需要使用什么樣的技術和產品。因為不了解，便容易造成主觀臆斷，覺得大數(shù)據(jù)和虛擬化是矛盾的，甚至覺得將兩者結合在一起是“不靠譜”的。我將通過即將發(fā)布的一系列博文具體闡述如何實現(xiàn)虛擬化上的大數(shù)據(jù)，讓讀者知道這兩者的關系，幫助他們解開疑慮。所以，接下來的一系列博客文章都屬于技術“干貨”，將指導有興趣進一步了解和嘗試這個領域的讀者或企業(yè)進一步探索并動手親自嘗試使用。
