Google Compute Engine 的虛擬機(jī)提供了一種快速、可靠的方式來運(yùn)行 Apache Hadoop。如今，Google 正在努力通過Google Cloud Storage Hadoop預(yù)覽版更簡單的在 Google Cloud Platform 上運(yùn)行Hadoop，這樣你就可以更加專注于數(shù)據(jù)處理邏輯而不是集群管理和文件系統(tǒng)。

 

下圖是Hadoop在Google Cloud Platform上的圖解。在Google Cloud Storage上存儲數(shù)據(jù)時HDFS、NameNode是可選的。 

 

 

在十年前，從Google***次介紹了Google File System (GFS)——Hadoop Distributed File System（HDFS）的基礎(chǔ)——Google一直在努力改善Google大數(shù)據(jù)處理的存儲系統(tǒng)。***的成果是Colossus。

 

今天的發(fā)行版本提供了準(zhǔn)確的——使用了一個簡單的連接器庫，Hadoop現(xiàn)在可以直接地在Google Cloud Storage運(yùn)行——一個對象存儲創(chuàng)建在Colossus上。這意味著你在大數(shù)據(jù)處理時可以從Google的這項技術(shù)中獲益。

 

下面是用Google Cloud Storage運(yùn)行Hadoop的優(yōu)勢：

 

兼容性：Google Cloud Storage connector for Hadoop 代碼兼容Hadoop。只要將URL指向你的數(shù)據(jù)就可以。

 

快速啟動：數(shù)據(jù)準(zhǔn)備處理。當(dāng)你的數(shù)據(jù)復(fù)制到HDFS以及NameNode，你不必等待過長時間來結(jié)束這個安全模式。同時，你也不需要花費(fèi)數(shù)據(jù)復(fù)制VM時間。

 

更高的可用性和可擴(kuò)展性： Google Cloud Storage比HDFS具有更高的可用性，因為它有獨立的Compute Nodes和NameNode。如果虛擬機(jī)拒絕（或云禁止、崩潰）你的數(shù)據(jù)還在。

 

低成本：包括存儲和計算：存儲，因為沒有必要維護(hù)兩份數(shù)據(jù)，一個用于備份，另一個用于運(yùn)行Hadoop；計算，因為你不需要僅僅為服務(wù)數(shù)據(jù)而保持VM一直運(yùn)行。同時，它是以分鐘計費(fèi)，你可以在多個內(nèi)核上更快的運(yùn)行Hadoop，并且你的成本不再是四舍五入為一個小時來計算。

 

沒有存儲管理開銷：鑒于HDFS需要日常維護(hù)——比如文件系統(tǒng)校驗、重整、升級、反轉(zhuǎn)和NameNode重啟——Google Cloud Storage只需要為計算付費(fèi)。你的數(shù)據(jù)是安全和一致的，不需要更多的努力。

 

互通性：通過在Google Cloud Storage保管你的數(shù)據(jù)，你可以從Google上其它已經(jīng)***融合的服務(wù)中獲益。

 

性能：由于有了Google Cloud Storage，Google的基礎(chǔ)設(shè)施將會比HDFS提供更高的性能——因為它沒有管理和維護(hù)開銷。

  

如果想了解Google Cloud Platform到底有哪些優(yōu)勢，可以訪問這個簡單指導(dǎo) 。 Google很樂意聽到你關(guān)于如何更好的在Google Cloud Platform運(yùn)行Hadoop和MapReduce的反饋和想法。

 

寫在***：為了與該領(lǐng)域的主要對手 AWS及其EC2競爭，Google已經(jīng)通過增加一系列得新特性來鞏固其平臺優(yōu)勢，包括更先進(jìn)的路由、高達(dá)10TB的大型***磁盤、更新App Engine托管服務(wù)以及降低成本等。可以預(yù)測，這些措施將使Google獲得數(shù)十億美元的基礎(chǔ)設(shè)施市場，同時，我們期待Google能夠為App繼續(xù)開放更大的空間。