沒有最多，只有更多！

誰也沒有料到，淘寶會在2011年11月11日（光棍節）那天創下史無前例的電子商務單日銷售記錄。在經過前期投入數億元大手筆的廣告宣傳后，2011年11月10日23點，淘寶人就在緊張地期待著2011“光棍節”的結果。

去年11月11日凌晨剛剛開始的8分鐘內，淘寶商城支付寶交易額突破1億元，20分鐘實現2億交易額，1小時實現4.39億交易額。淘寶商城官方數據顯示，“光棍節”期間訂單數突破2000萬單，“支付寶”交易額突破33.6億，為去年同日交易量的近4倍；而淘寶網、淘寶商城“支付寶”交易總額突破了52億，這個數字超過購物天堂香港6天的零售總額。

事實上，去年11月11日當天除了淘寶銷售及市場人員在密切關注交易情況外，一支幕后隊伍——技術團隊也一直在緊張地盯著交易結算的峰值。阿里集團共享技術平臺核心系統研發產品經理何燕鋒就是其中的一員。好在一切都平安地度過了。

頂住“光棍節”瘋狂沖擊

忽如一夜春風來，千樹萬樹梨花開。談到“光棍節”以及隨后的“12.12”兩次單日高交易量，何燕鋒認為是CDN內容分發網絡系統確保了淘寶應對交易峰值和大交易量的實現。

“淘寶CDN內容分發網絡系統承擔了‘光棍節’將近90%以上的訪問，當天的流量達到了800Gbps的帶寬。目前淘寶在全國布了100多個點，用戶訪問和交易時，不需要從主數據庫調用圖片等，而是只需要就近從CDN系統上調用即可。這樣大大提高了消費者的瀏覽速度”何燕鋒說，“2012年淘寶的CDN節點部署將會接近300個，每個節點服務的帶寬是10Gbps，屆時用戶會有更好的體驗。”。

在杭州市華數機房，DOSERV記者看到了部署在這里的淘寶CDN節點機，這也是淘寶首批部署的低功耗CDN節點機之一，主要針對通過杭州廣電接入互聯網的用戶。

淘寶CDN節點是一個小型的服務器集群，由存儲系統、調度系統和網絡系統組成。其中，調度系統由兩臺基于英特爾至強的服務器組成，負責把用戶的請求分發給緩存系統中的不同服務器，讓它們響應請求；網絡系統則由兩臺交換機組成雙鏈路，確保系統的可靠性；緩存系統則由7個2U機架組成，存放在一個機柜中，每個2U機架里部署了4個刀片，而每個刀片上有2臺單獨的基于英特爾凌動（ATOM）處理器的低功耗服務器。這樣存儲系統總計有56臺服務器組成。

低功耗所以更高效

由于CDN節點托管在華數機房，一般而言，一個機柜能最多只能承受2200瓦的功耗，二十多臺服務器的功耗就超過了2200瓦的閥值。那淘寶CDN節點的存儲系統是如何將56臺服務器存放在一個機柜中的呢？何燕鋒介紹，由于采用了英特爾低功耗處理器作為服務器的“芯”，所以大大降低了服務器的功耗。普通處理器的功耗為80瓦左右，而ATOM處理器只有13瓦，因而即使是在2U機架中部署了8臺服務器，總功耗才200瓦，7個機柜就是1400多瓦，遠沒有達到一個機柜的功耗上限。

而淘寶CDN節點服務器之所以能做到如此低的功耗，原因在于淘寶聯合超微和英特爾對服務器進行了全方位的“改造”。用何燕鋒的話來說，就是完全針對CDN加速的需要，將不需要的功能和配件全部舍棄了。同時針對CDN屬于I/O密集型的特點，采用英特爾低功耗處理器替代傳統的服務器處理器，弱化了CPU的計算能力，強化了輸入輸出能力。

另外考慮到熱插拔的需要，服務器的硬盤和系統通過一個主板隔離開，一旦某塊硬盤出現故障，技術人員不需要宕機就能將壞的硬盤更換掉。目前，淘寶給每個2U機柜配24塊硬盤，也即每臺服務器有3塊硬盤來存取數據。這3塊硬盤又按照1塊SSD硬盤和2塊SATA硬盤的配比，將熱點數據存放在SSD盤上，而非熱點數據則存放在SATA盤上。這樣的配比大大提高了用戶訪問時的數據快速調取和命中的幾率。而實現這種機制的，正是淘寶自己開發的緩存管理系統。

在華數機房試驗成功后，淘寶又在青島、廈門和佛山等地部署了同樣的CDN節點，總的服務器數量超過了800臺。正是這些CDN分發服務器，幫助淘寶順利渡過了“光棍節”等超大交易量的考驗。

CDN節點機的前世今生

CDN節點機在“光棍節”交易高峰中居功至偉，然而查遍市場上的服務器，卻較少見其蹤跡，這又為何呢？何燕鋒表示，這是淘寶、超微和英特爾聯合研制的專有產品，專門為CDN分發量身定制。參與該項目的阿里集團技術品牌部高級研究員（副總裁）章文嵩博士則向DOSERV記者介紹了節點機中低功耗服務器的來龍去脈。

淘寶技術團隊在多年的實踐中發現，對于像淘寶這樣的互聯網應用而言，大部分是數據密集型的訪問，I/O會特別忙，但是CPU卻相對空閑。假如用低功耗CPU來做服務器處理平臺的話，將會是一個很好的選擇，因為低功耗CPU整體處理能力會稍微弱一點，但是功耗會特別低。為此，以章文嵩博士為首的技術團隊研究了國外的案例，對比了 ARM、英特爾和AMD的處理器，并最終選擇了英特爾的低功耗處理器作為低功耗服務器的“芯”。

“淘寶在2009年底開始啟動低功耗服務器項目，那時我們也在思考和比較，因為ARM也是一種選擇，MIPS也是一種選擇。當時考慮到遷移的成本，因為不同指令體系的架構遷移成本會比較高，比如操作系統就需要兩套等。另外，新平臺的穩定性也需要時間來證明，客戶對新平臺的接受程度等等，都是需要考慮的因素。”章文嵩博士表示，“最終我們選了Intel x86架構處理器來做低功耗服務器。”

2010年8月，在淘寶的推動下，Intel聯合超微根據淘寶的需求設計了記憶ATOM處理器的低功耗服務器，并提供原型機給淘寶進行測試。

最初，原型機的測試結果只能到達900 Qps(每秒處理請求數)，未能達到1000qps的設計要求。后來，通過淘寶的優化，將硬盤的控制模式由IDE改為AHCI，處理能力達到了1300qps，遠遠超過了設計能力。并且后續通過優化IO的性能，最終單片服務器的能力到達了1900qps，至此通過軟件的優化，使得低功耗的服務性能完全超出了預期。

一切為了綠色

章文嵩博士坦言，CDN節點低功耗服務器只是開始，未來淘寶還會根據需要定制其它類型的低功耗服務器。更難能可貴的是，淘寶并沒有將自己的研制成果鎖進“保險柜”里，當做獨家的財富。

“我們已經把CDN節點低功耗服務器的規格以及調優過程，發布到了Green Compute.org網站上，希望能有更多的企業受益。”章文嵩博士表示，“淘寶的定制服務器，不僅淘寶自己用，而且它還是面向全行業的，可以賣給別人，淘寶也鼓勵廠商賣給其他用戶。”

目前，淘寶還在積極聯系騰訊、百度等互聯網企業，希望能聯合起來，共同推動中國的綠色計算的發展。章文嵩博士呼吁，希望有更多的企業參與到綠色計算的項目中，共同推動包括低功耗服務器定制、高性能服務器定制、機柜的設計、直流供電、數據中心空調、數據中心設計等IDC“計算”產業的“綠色”化。

“眾人拾柴火焰高！只有很多企業聚在一起，才能把綠色計算做得更大更深，才會對業界真正有幫助。只有大家把經驗分享出來，才會對對整個產業有很大的促進。”章文嵩博士強調。