劉鵬教授:綠色云計算實踐之路
非常高興在這里跟大家分享一下我們云計算這方面做過的一些事情。目前,數據增長有一個新的規定,人稱叫新摩爾定律,全球數據量每隔18個月就會翻一倍,指數據總量,所以比我們腦的摩爾定律大很多。大數據帶來的挑戰就是過去的這么多年來,數據增長現在是到了2000EB左右,這個量是在04年的時候只有30EB,所以這個增長非常快,現在每兩天產生的數據,就相當于03年以前全球所有數據的總和。所以,我們看到為什么現在有這么多數據中心在建設,其實也于這個也關系。現在企業能夠利率的數據大概7%,將來很快會降到4%。如果我們把數據的利用率提升,如果我們能提升10%,那么在很多行業,它的效率將會提升20%。所以,這個影響是非常大的。我們現在看到淘寶網提供了一些數據分析的服務,比如數據模仿,這些數據分析有助于那些有經驗的賣家根據這個服務購買這個數據,然后優化它的商品銷售。我們現在看到很多皇冠賣家都是以前好日積月累累出來的,但是現在一大批的數據賣家是靠數據分析,這樣就能夠提高它的銷售量。亞馬遜在它的銷書的過程中,每次你結帳的時候會給你推薦會不會買另外一本書,這個銷售量增長了很大。
云計算增長這么快的情況下,我們用什么去解決,用大量的計算機取代以前單打獨斗的計算機。到了1998年有了網格計算,08年有了服務計算,07年有了云計算,這些都是它的本質的問題。云計算在基礎上來講,實際上就是怎么能夠把這些分布的資源管起來,這些資源非常不可靠,怎么把它有效的虛擬起來,然后對外界提供簡單的接口,方便大家從網上進行訪問,云計算的核心就是冗錯。谷歌就是找到了這樣一個做法,4月1號,谷歌給大家提供了1GB的G-mail的信箱,谷歌03年的時候當時發了一篇論文,這篇文章可以說是整個云計算產業的奠基之作,非常簡單,它描述的結構就是這臺機器有很多是管理的機器,下面是負責數據存儲的機器,右邊的是客戶端。為什么要兩臺,因為兩臺機器要互有備份。所以,這樣使得它始終都能保持數據有三個副本,所以這套機器就可以做的非常可靠。所以,谷歌的機房都能做得這么簡單,普通的PC裝4個硬盤,背后對著走廊,因為這些機器隨時都會壞了,壞了以后沒有人管,如果壞了,就方便拿下來,所以就完全不需要人維護。所以,這樣帶來的好處就非常明顯。目前微軟公司建了一個15萬機器的云計算平臺,只有5個人在做,所以它的效率非常高。#p#
谷歌的數據中心建在戈壁灘上面,非常冷的這些地方。現在Facebook也公開了他的云計算數據中心,在一個非常荒涼的地方,它的PUE竟然能做到1.06。谷歌曾經寫了GFF這樣的文章公開了它最核心的技術,造成了全世界云計算的熱潮,所以,你們可以學習我們的方法,所以我們建設綠色數據中心很多東西可以借鑒Facebook的數據中心的建設方法。
在能源上面有很多問題,左邊是谷歌帶美國的東海岸收購了一個公司,云計算屬于高耗能產業,10萬臺機器,一塊錢一度電,10萬臺PUE等于2的話是5億人民幣,所以能源的消耗比數據中心本身的建設成本,如果三年之上,就超過了數據中心建設成本,所以能源問題是一個為突出的問題,目前數據中心的能耗已經超過航空產業,整個天上這么多飛機在飛,但是它的能耗還不如數據中心消耗的多,現在大概2%點幾的能源被云計算數據中心使用,我相信再過幾年會超過10%,甚至20%的數據中心將使云計算使用這么多能源。
谷歌在比利時建的云計算數據中心完全放在室內,因為這個地方比較冷,但是仍然一年有7天比較熱,谷歌在這7天里面把數據中心完全關掉,不再使用,這個時候就不需要再額外的散熱了,到了7天之后再打開繼續工作,用這種方法避開散熱。那么,這種方式我覺得對很多企業其實是適用的,在國內360在前年的夏天曾經它的數據中心機房主空調出現故障,這時候360受到報警馬上就啟動了指令關掉了這個機房。我們這一塊做的這些事情,比如說我們主要著重針對云計算大數據的基礎做了四個方面的工作。
一方面是云存儲,第二方面是大數據怎么處理。第三、視頻方面的應用。第四、大數據怎么高速的傳到另外一個地方。谷歌是不允許修改數據,我們任意可以修改,而且我們可以把不同的異地機架虛擬成更大的存儲平臺,能量可以做到100完EB。我們今年和國家科技部啟動了一個計劃,1EB的存儲系統。另外就是存儲的控制器我們自己研制了一種新的存儲控制器,這個控制器的功耗只有10瓦可以控制16個硬盤,我們采用傳統X86架構需要250萬我的電,但是我們現在把它只降大10萬,它達到的效果是類似的,成本節省了10倍。這樣使得云存儲能源消耗更少,這是我們的機架,既可以是X86,也可以是超低功耗。我們在內蒙布了一套系統已經三年多了,好多硬件都壞了,但是系統仍然是好的。同時,我們可以做所有的節點,隨著節點的數量增長,用戶的訪問量上升,我能夠讓它的整體IO性能呈線性增長,我在以太網里面讀數據的時候,速度是非常驚人的。我們云存儲系統是前所未有的一個性能。這是我們做的新的機架,它的正面全部是盤,反面上下都是盤,中間是電路板,是1.125PB的流量,所有的功耗3400瓦,所以我們一個機架放到機房里就相當于一房建了所有的機器,但是它的成本只相當于原來一個機架的成本,所以這套系統我們覺得對于數據中心建設可能會非常有用,如果你用海量的數據,比如大家現在都在云盤大戰,云盤的成本居高不下,我們曾經有運營商找我們,說我租用你的設施,我們愿意付多少租金,后來我算的一下,我說你只要付我半年租金設備就送你了,我們比市場上云盤的價格便宜很多,我們這套系統是高可靠,高性能,高可伸縮性,超低功耗,超高集成度,高易用性,價格非常便宜。便宜到什么程度?在招標的時候我們云存儲系統只有320萬,別的廠商都是900多萬。另外我們系統在南京公安局得到了大量的應用。他們主要是把各城市里的攝象頭的硬盤,所有的監控硬盤把數據導到云存儲上面,交給幾千個警察同時做分析。這樣大家就發現,用這樣的系統它的特點系什么?幾千個人同時用一套系統,但是每個人都覺得很快。第二,在用的過程中老跳閘,大家擔心云存儲會不會把數據丟掉,但是打開機器發現數據都沒有丟失,大家從哪兒以后就建立了信心。所以,現在南京公安局現在大規模采購基本上全都是這種系統,現在在南京政務數據部署的公安局宣布是這個系統。#p#
云處理我們有一個系統叫數據立方,我們Hbase的30倍。另外就是可靠性有大幅的提升,我們還HDFS進行了大量的改造,把它所有的單點故障給消除掉了。數據立方能夠快速的處理機器海量的數據,JOBKEEPER能夠對大量的計算任務進行大量的調度,我們這個處理平臺就是當你有大量的計算任務,每個任務都很小,怎么能夠快速的高可靠的把它處理完。這個是中國移動在廣東移動搞了一個比賽,它的數據量整個廣東是中國移動收入量最大的,心靈流峰值是7200KB/S。這是參賽的其他廠商,有幾家是用美國最有名的一個大數據處理的平臺,但是它非常貴,一套系統有上千萬,我們跟它這樣的系統競爭,最后的效果是非常好的,這是我們整個通過這個比賽證明了這個系統。這個比賽比了一年,比功能、性能、可靠性,全方位的是,最后是非常驚人的結果。這是我們當時比賽的現場。這個比賽當時也是把每一家到屏幕上,同時進行相同的處理,或者看誰不崩潰,我們在這里面最后得到大家的認可了。我們后來中標了很多中國移動的工程,中國移動現在的試點,首先第一個就是江蘇移動,布了12個機架,處理整個江蘇省所有的移動手機信令,每秒鐘的流量200兆,效果非常好。
我們現在云計算模式要把所有的數據都到云計算平臺,甚至全國的實時數據都可以處理掉,這是我們當時數據入庫的樣子,這是我們數據查詢。當我們要在這么大數據量的情況下查詢符合條件的車的記錄,我們一點查詢按紐就出結果,以前的系統要用很長時間。現在我們做到一個省的或者一個國家的規模,或者我們有一千億條,或者一萬一條記錄,我們能夠做到實時的查詢,然后動態的篩選。比如給出查詢條件,一點查詢就出結果了,這是以前做不到的。有了這個能力,現在有了很多以前做不了的事情。比如有一輛車,一過這個卡口,就把它的牌照和其他的車比對一下,如果相同它就是套牌車。以前都是靠眼睛查,那是非常困難的。我們同時也把這個作為數據的一體機,就是硬件和軟件結合在一起。英特爾公司目前跟我們合作推出新的一體機,大概10月底開新聞發布會,英特爾公司會著重把這個產品推出去,除了英特爾之外,其他國內所有的大廠都在跟我們合作。
云視頻,我們主要業績大規模的,你怎么能保證這么多攝象頭都到你的平臺上,怎么高效的把數據存起來,自動的處理,主要是解決這個問題。我們在一個監控畫面,就可以監控一個城市的幾十萬攝象頭,但是人其實看不過來,所以我們要用大量的計算機同時處理不同的視頻流。另外除了做交通,道路流量的判斷,發生事故的自動報警,比如有人打架,有人搶劫,所有的行為通過云計算的節點進行自動的判斷、處理和報警,這樣把大量傳統的攝象頭接入到云計算平臺進行處理。同時我們也做對犯罪嫌疑人的動態跟蹤,像周克華的案子,用云計算平臺做動態的處理,但是云計算平臺我們攝象頭都很模糊,看不清楚他的臉,那么,在這種情況下我們發明了這種新的技術解決這個問題。
云傳輸主要是快速的把數據高效的傳輸到不同地方,這個傳輸速度也大幅提升。這是我們在國家做的實驗,能夠提高幾十倍的性能,這是目前全國有6個省的電視臺用這種方法進行高效的數據傳輸,到今年您地16個省。我們有一個網站叫中國云計算,歡迎大家訪問。我們也有幾本書,大家可能看得比較多的云計算第二版現在是最多的一本。謝謝!























