“好，時間到，開搶！”坐在電腦前早已等待多時的宋蘭（化名）一看時間已到2011年11月11日零時，便迫不及待地投身于淘寶網(wǎng)一年一度的大型網(wǎng)購促銷活動——“淘寶雙11”購物狂歡節(jié)。

宋蘭不知道，就在11日零點過后的這一分鐘內(nèi)，全國有342萬人和她一起涌入淘寶網(wǎng)。當(dāng)然，她更不知道，此時此刻，在淘寶公司杭州總部的一間辦公室里，淘寶技術(shù)部核心系統(tǒng)負責(zé)人兼高級研究員章文嵩和淘寶的一群技術(shù)高手們，正在黑板上紛紛寫下注，看誰能最準(zhǔn)確地猜中“淘寶雙11”CDN流量峰值和全天的交易總額。

不過，看似輕松的氛圍下，章文嵩和他的同事們內(nèi)心多少有些忐忑：本次網(wǎng)購盛會對淘寶的各個服務(wù)系統(tǒng)而言都是一次巨大的考驗，其中***的考驗則是對章文嵩所負責(zé)的，剛剛上線的，基于英特爾凌動（ATOM）處理器定制的低功耗服務(wù)器而新搭建的CDN系統(tǒng)。因為，雖然已有測試證明該CDN系統(tǒng)可以應(yīng)付超大流量，但那畢竟是測試結(jié)果，真實情況會怎樣，誰都沒底。

[[57583]]

淘寶技術(shù)部核心系統(tǒng)負責(zé)人兼高級研究員 章文嵩

24小時之后，淘寶網(wǎng)和淘寶商城高達52億的交易額讓淘寶笑了，而章文嵩的心也終于落定。

始自節(jié)能之需

對互聯(lián)網(wǎng)相關(guān)技術(shù)比較熟悉的人大概都了解CDN。CDN全稱Content Delivery Network，即內(nèi)容分發(fā)網(wǎng)絡(luò)。其目的是通過在現(xiàn)有的Internet中增加一層新的網(wǎng)絡(luò)架構(gòu)，將網(wǎng)站的內(nèi)容發(fā)布到最接近用戶的網(wǎng)絡(luò)“邊緣”，使用戶可以就近取得所需的內(nèi)容，提高用戶訪問網(wǎng)站的響應(yīng)速度。

在淘寶，章文嵩表示，為了保障近四億淘寶用戶的購物體驗，該公司已在全網(wǎng)部署了103個用于加速的CDN節(jié)點，單節(jié)點服務(wù)能力大于10Gbps,CDN Web Cache服務(wù)器數(shù)量超過4000臺。

當(dāng)然，支撐整個淘寶日常運營的遠不止這幾千臺CDN web cache服務(wù)器。這些服務(wù)器每天的耗電量非常驚人，在淘寶網(wǎng)運營成本中占據(jù)了相當(dāng)比重并逐年上升。因此，節(jié)約服務(wù)器用電量，已經(jīng)成為不得不考慮的問題。而最直接的方法，就是在滿足性能要求的前提下，采用比傳統(tǒng)服務(wù)器省電的低功耗服務(wù)器。

低功耗服務(wù)器之所以比傳統(tǒng)服務(wù)器的省電，主要在于采用了低功耗CPU。低功耗CPU在帶來低功耗的同時，也損失了處理速度。因此，消耗CPU資源少的應(yīng)用是低功耗服務(wù)器首要應(yīng)用場景。而從淘寶整個服務(wù)器體系來看，滿足這一要求的恰好是CDN Web Cache服務(wù)器，最終，該公司決定在CDN節(jié)點嘗試使用定制低功耗服務(wù)器來替換傳統(tǒng)服務(wù)器，并于2009年底正式啟動綠色低功耗服務(wù)器定制項目。

“不只是攢個機器”

“定制低功耗服務(wù)器，表面上看是攢個機器，不過實際上并非如此簡單。”章文嵩告訴記者。

市場上傳統(tǒng)的低功耗處理器，其節(jié)省功耗的原理，是在原有高性能處理器的基礎(chǔ)上，通過控制處理器在閑時的主頻和耗電，同時簡化亂序處理的邏輯模塊，來減少不必要的消耗。但該方式受限于原有的高性能架構(gòu)，整體功耗降低效果并不明顯，特別是在IO密集型的業(yè)務(wù)上。而淘寶網(wǎng)用于靜態(tài)內(nèi)容加速的CDN Web Cache服務(wù)器，主要功能正是對靜態(tài)的網(wǎng)頁和圖片進行讀寫操作，屬于IO密集型業(yè)務(wù)。

“因此，針對IO密集型業(yè)務(wù)，我們需要尋找區(qū)別于以往傳統(tǒng)的、更低功耗的處理器和服務(wù)器方案。”章文嵩說。

項目啟動之初，淘寶選擇某知名芯片平臺供應(yīng)商作為合作伙伴，并于2010年6月制作出原型機，但遺憾的是，該原型機未能通過線上測試。因此，2010年8月，淘寶選擇在整機解決方案方面比較有經(jīng)驗的美國超微公司和英特爾。最終，在三方的努力下，基于凌動處理器D525的低功耗服務(wù)器定制成功，并于2011年6月開始在淘寶實施規(guī)模化部署。

[[57584]]

淘寶產(chǎn)品經(jīng)理 何燕鋒

在杭州華數(shù)機房，負責(zé)該服務(wù)器定制的產(chǎn)品經(jīng)理何燕鋒帶領(lǐng)記者實地參觀了一處由該低功耗服務(wù)器所搭建的CDN節(jié)點機群。其中，一個2U空間里能放8臺凌動低功耗服務(wù)器（8臺服務(wù)器共享一個機箱），單臺服務(wù)器功耗僅25W，也就是說，這8臺低功耗服務(wù)器的總體功耗也才200瓦。這200瓦是什么概念呢？何燕鋒指著該CDN節(jié)點機群中一臺服務(wù)器，告訴我們說，那就是市面上的普通服務(wù)器，主要負責(zé)調(diào)度功能，其功耗為150W，占1U空間。兩相對比，低功耗服務(wù)器的低功耗高密度的優(yōu)勢十分明顯。

值得一提的是，章文嵩和他的同事發(fā)現(xiàn)，淘寶CDN緩存對象具有的特征是：18KB以下的對象數(shù)量占總數(shù)量的80%，而存儲量只有不到40%；同時，80%被訪問對象所占用的存儲空間不到20%。這意味著“熱數(shù)據(jù)”（訪問頻次高的內(nèi)容）占的空間其實很小，而“冷數(shù)據(jù)”（訪問頻次低的內(nèi)容）所需存儲量很大。因此，淘寶特意為該低功耗服務(wù)器引入分層存儲機制，所以單臺低功耗服務(wù)器的硬盤其實是由一塊80GB的SSD盤和兩塊500GB的SATA盤組成。這樣，“熱數(shù)據(jù)”存放在SSD盤上，“冷數(shù)據(jù)”就存放在SATA盤上，從而兼顧速度、容量與成本。而分層存儲調(diào)度軟件則由淘寶獨立開發(fā)。

2011年2月，該凌動低功耗服務(wù)器投入量產(chǎn)。隨即，淘寶人又緊鑼密鼓地開始了系統(tǒng)優(yōu)化工作。章文嵩告訴記者，在沒有優(yōu)化之前，單臺低功耗服務(wù)器的QPS（每秒查詢率）數(shù)大約在900左右，離他們既定的目標(biāo)（1000QPS）還差一點。然而，當(dāng)他們將硬盤訪問模式改為ACHI/RAID之后，QPS立刻躍升至1300；再通過優(yōu)化IO、網(wǎng)絡(luò)、SMP affinity等工作，QPS數(shù)到達1700，大大超過原來的預(yù)期。

“我們正在重寫一個輕量級Cache軟件，希望能將OPS數(shù)提升到1900。” 章文嵩說。
 
據(jù)悉，目前淘寶一共部署了十多個低功耗CDN節(jié)點機群，共部署了約800臺凌動低功耗服務(wù)器。大部分凌動節(jié)點都服務(wù)到了上聯(lián)鏈路的限制值——10Gbps，此時的單臺低功耗服務(wù)器的服務(wù)QPS數(shù)在1200以上，而CPU負載不超過70%，整體的I/O也不過50%左右，且整體緩存服務(wù)的響應(yīng)時間都在20毫秒以下。

 “本次淘寶‘雙11’購物狂歡節(jié)，我們CDN承受了全網(wǎng)近90%以上的流量，這一天的CDN帶寬峰值到達800多Gbps，可以說真正通過了考驗。”章文嵩說。之后的淘寶“雙12”帶來了更大的流量“洪峰”，淘寶CDN亦安然承受。

 此外，何燕鋒亦透露，他們還拿到了英特爾SandyBridge（15W）低功耗處理器（英特爾在微服務(wù)器上的主打處理器之一）樣片，并在CDN緩存應(yīng)用上進行了性能測試。

“SandyBrige（15W）低功耗處理器采用雙核架構(gòu)，主頻只有1.2GHz，但L3的緩存有3MB。如果單看主頻的話，很難想象這樣的處理器能有多么卓越的性能，測試結(jié)果卻出乎意外，單臺服務(wù)器的性能能夠到4500QPS, 幾乎是我們現(xiàn)在這款低功耗服務(wù)器的3倍，而功耗則相差不到2W。”何燕鋒說。

因此，只要該款處理器價格合適，淘寶將在下一代低功耗服務(wù)器中采用SandyBrige（15W）處理器。

心系環(huán)保、踐行開源

“我們定制服務(wù)器跟傳統(tǒng)的定制不一樣。傳統(tǒng)的定制是一種買斷形式，例如，我向你（廠家）定制了服務(wù)器，你不能賣給第三方。而我們淘寶是一種開源的心態(tài)，我們覺得盡管這款低功耗服務(wù)器是針對淘寶的CDN需求而定制，但低功耗服務(wù)器環(huán)保節(jié)能，同時CDN系統(tǒng)是整個互聯(lián)網(wǎng)服務(wù)的基礎(chǔ)，所以淘寶將它開源出去并鼓勵廠家將這款產(chǎn)品賣給別人，一方面促進整個互聯(lián)網(wǎng)“綠色”服務(wù)器產(chǎn)業(yè)的發(fā)展，另外一方面也彰顯淘寶的開發(fā)策略。”何燕峰告訴記者。

[[57585]]

淘寶部署在杭州華數(shù)機房的CDN節(jié)點

需要指出的是，淘寶低功耗服務(wù)器定制項目在業(yè)界是相當(dāng)超前的，其價值不言而喻。另一方面，雖然目前國內(nèi)外有不少研究機構(gòu)、企業(yè)正在研發(fā)低功耗服務(wù)器，但象淘寶這樣將低功耗服務(wù)器項目（設(shè)計規(guī)格和應(yīng)用數(shù)據(jù)）無私開源的，用章文嵩的話來說：“全世界也是***家 ”。

并且，淘寶不只是簡單地將其低功耗服務(wù)器定制項目開源，而是以此為出發(fā)點，聯(lián)合英特爾、超微等廠商，共同發(fā)起了“開源綠色計算”項目（http://www.greencompute.org/）。章文嵩強調(diào)，該項目的目標(biāo)是推動互聯(lián)網(wǎng)整體硬件基礎(chǔ)設(shè)施（包括服務(wù)器、網(wǎng)絡(luò)設(shè)備、IDC機房、機架和電源等）的節(jié)能環(huán)保。

目前在開源綠色計算網(wǎng)站上還只有凌動低功耗服務(wù)器這一款定制化的“綠色”產(chǎn)品，章文嵩殷切地希望更多的同行能加入進來，共同推動“綠色計算”產(chǎn)業(yè)的發(fā)展。

【采訪手記】兩點感慨

本次淘寶之行，不僅讓人切身體會國內(nèi)互聯(lián)網(wǎng)用戶IT技術(shù)實力之強，更是觸發(fā)記者心中兩大感慨：

一是淘寶、騰訊等國內(nèi)互聯(lián)網(wǎng)用戶已經(jīng)漸漸具備左右IT廠商、影響IT產(chǎn)業(yè)的力量。例如，章文嵩透露，英特爾過去沒有MicroServer（微型服務(wù)器）戰(zhàn)略，其Atom處理器原本也并非面向服務(wù)器，正是淘寶綠色低功耗服務(wù)器定制項目直接影響、推進了英特爾MicroServer戰(zhàn)略。目前，已有消息傳出，英特爾計劃于2012年第二季度推出用于網(wǎng)絡(luò)附加存儲和入門級服務(wù)器的新的Atom處理器產(chǎn)品線。

二是低功耗服務(wù)器前途光明。淘寶的實踐已經(jīng)證明，那些不需要太多CPU計算的I/O類型應(yīng)用，如CDN緩存服務(wù)、網(wǎng)站存儲備份服務(wù)、企業(yè)日志系統(tǒng)等，采用低功耗服務(wù)器能收獲更好的性能/功耗之比和性價比。因此，低功耗服務(wù)器必將作為服務(wù)器類別中一個新的分支而存在。

與此同時，一場圍繞低功耗服務(wù)器的戰(zhàn)爭也在蓄勢待發(fā)。英特爾有MicroServer戰(zhàn)略，AMD也有相關(guān)計劃，而移動芯片領(lǐng)域的“大佬”ARM正一步步試圖通過低功耗服務(wù)器來切入服務(wù)器市場更是眾人皆知的事實。這場戰(zhàn)爭誰勝誰負，業(yè)界有不同的觀點。不過，筆者以為，ARM芯片軟件生態(tài)環(huán)境薄弱始終是短期內(nèi)難以逾越的障礙。例如，在淘寶綠色低功耗服務(wù)器定制項目中，淘寶最初考慮過ARM芯片，但顧慮到軟件遷移成本比較大才最終作罷。而英特爾憑借強大的研發(fā)實力和市場推廣能力，以及與上下游廠商、用戶之間良好深厚的合作關(guān)系，必能占據(jù)有利位置。

原文：http://www.cnw.com.cn/server-x86/htm2012/20120213_241599.shtml