數據中心制冷選擇 風冷液冷誰更佳？
ILM公司（Industrial Light & Magic）最近用目前最熱門的IBM BladeCenter服務器上替換其舊服務器。ILM公司的這一舉措將把數據中心單個機柜的電能消耗平均減少140千瓦，節省幅度達到84%。不過，新機柜中的熱密度反而更好高了：現在每個機柜用電28千瓦，而之前為24千瓦。這些電能最終都要轉換成熱能，而這些熱能會透過機柜散發到數據中心，最后由數據中心的空調系統帶走。
新機柜配有84臺刀片服務器，每個刀片服務器有2個四核處理器和32GB的內存。這些服務器功能非常強大，與3年前采購的BladeCenter相比，一臺服務器的處理能力相當于過去的7臺BladeCenter。這家公司主要進行電腦特技設計，這些機柜組成渲染農場用以對圖像進行處理。一個新的42U機柜產生的熱量相當9個家用烤箱以最高溫度工作。為了制冷，ILM數據中心的空調系統幾乎是滿負荷工作。
惠普副總裁兼關鍵基礎設施服務部門總經理Peter Gross介紹說，近年來新建的大多數數據中心其設計制冷能力大都為每平方英尺100-200瓦，每個機柜的制冷能力為4千瓦。而一個數據中心的設計制冷能力達到200瓦時才能支持平均5千瓦的機柜熱密度。如果對氣流流向進行精心設計和專門優化，機房的空氣調節系統有可能保證用電量達25千瓦的機柜。而現在ILM公司的數據中心每個機柜用電達到28千瓦，這已經是現有的機房空調系統最高極限了，從事數據中心能效研究的IBM 研究員兼首席工程師Roger Schmidt說，“ILM是在挑戰30千瓦的極限，這將注定是一個相當艱苦的工作。”
這是可持續發展？
現在的問題是接下來會發生什么？“未來用電量還要增加怎么辦？完全可能因為制冷問題無法解決，導致我們不能在往數據中心中添加任何設備。今天，這個問題已經開始顯現出來了。”Schmidt說。
Schmidt認為超過30千瓦的高功率密度計算以后將不得不依賴于水冷。不過其他專家表示，數據中心的相關設備制造商也有可能通過通力合作降低服務器的部署成本，使得服務器不用都擠在機柜中，而是分開擺放，這樣機柜中的熱密度就不至于越來越高。
ILM信息技術總監凱文-克拉克對采用新的刀片服務器后獲得的計算能力的提升和節電效果很滿意，他說這也符合當今節能環保的大趨勢。根據IDC的研究，服務器的平均價格自2004年以來已經下降了18％，而CPU成本下降了70％，達到715美元。但克拉克無法知道，這種計算密度成倍增長持續下去的話，自己的機房到底還能維持多久。“就現有的機房設備而言，如果計算密度加倍的話，從制冷的角度來說，就是難以滿足需求的。”他說。
他并不是唯一關注制冷問題的人。40多年來，計算機行業按照摩爾定律規定的進程快速發展，每兩年計算密度增加一倍。然而，現在一些工程師和數據中心的設計師們開始懷疑這條道路的可持續性，這條路似乎已走到了盡頭。現在面臨的困難不只是芯片制造商是否能夠克服制造更密集晶體管所面臨的技術挑戰，還在于現代數據中心要運行和管理如此多的高計算密度的機柜是否經濟。
現代數據中心機柜中安裝的IT設備越來越多，這不僅意味著機柜用電量大大增加，還意味著后面的所有輔助設施的容量和用電量也相應增加，包括冷卻系統、配電設備、UPS和發電機等都會按比例增加。這值得數據中心經理們注意。
IDC公司在2009年曾調查了1000家數據中心的負責人，接受調查者中21％的人將電力和制冷列為數據中心當前面臨的最大挑戰。將近一半（43％）的人說這是它們運營成本增加的最主要原因，1/3的人說他們經歷過因制冷問題或者電力問題導致的服務器宕機。
Christian Belady是微軟全球基礎服務集團經驗最豐富的基礎設施架構師，負責設計和管理著微軟最近在美國華盛頓州昆西市建立的數據中心。他說，采用高架地板形式的數據中心單位建設成本太高，微軟在昆西的數據中心基礎設施的建設成本占項目總成本的82％。
“我們必須改變過去的那種錯誤觀點，就是計算密度越高越好。”Belady說，“要知道，你的計算密度加倍意味著所有的輔助設施、制冷系統容量都要加倍。”
格羅斯說，隨著數據中心內單位面積上的計算密度增加，雖然整體機電成本變化不大，但由于功率密度增加而帶來的運營成本卻大大增加了。
IBM的施密特表示，對于新建的數據中心而言，最大的資金投入不是建筑本身，而是保證公司電力供應的設備成本以及相應的制冷成本。
計算密度的增加已經讓一些大型數據中心的建設項目資金突破了10億美元大關。 “很多總裁級的人聽說新建數據中心要這么高的投入都嚇了一跳。”施密特說。
Gartner公司的分析師拉克什庫馬爾說，從電力使用和成本的角度來說，功率密度不可能無休止地增長下去。幸運的是，大多數企業的數據中心機柜的電力消耗暫時還沒有達到像ILM這樣的水平。Gartner的客戶中約有40％其數據中心每個機柜功率為8-9千瓦，當然有些則高達12至15千瓦，不過，功率呈明顯上升趨勢。
現在，一些企業數據中心和一些對外提供托管服務的IDC開始對用電情況進行監測，并把它作為數據中心的依據之一，而它們在以前只是按照租用空間收費的，根本就沒有考慮到底用多少電。有些IDC針對大客戶采用根據用電多少決定收費多少，也就是用戶先提出最高要用多少電，IDC再據此給其分配相應的空間。
#p#
求購千瓦
不過，指望客戶不僅知道他們需要租用什么樣的設備，還要了解安裝了這些設備的機柜大約需要用多少電，似乎不太現實。
“對于某些客戶來說，這是非常現實的，”從事服務器托管服務的Terremark公司的高級副總裁斯圖爾特說。事實上，Terremark采用這種方法也是響應客戶的需求。 “客戶中有不少人找到我們說，它們最多需要多少電，讓我們為他們安排空間，”他說。如果客戶不知道什么是它的機柜要用多少電，Terremark會單獨給這個公司配一根總電纜，通過這個電纜為客戶的機柜供電。
IBM的施密特認為，功率密度還有可能進一步增加，但數據中心的制冷方案需要改變。
ILM的數據中心完成于2005年，設計供電能力為每平方英尺200瓦，從機房來說這個電力供應和制冷能力已經足夠了，現在的問題是沒有方法能有效地解決高密度機柜內部的制冷。
ILM公司采用了冷/熱通道的設計，同時管理人員對通往冷通道的格柵板的數量和位置進行了調整，從而對流經機柜內的氣流進行了優化。即便如此，為了避免機柜內的局部熱點，空調系統還得保證整個13500平方英尺的機房不超過18.5攝氏度。克拉克知道這有些浪費，今天的IT設備設計運行溫度高達27攝氏度以上，所以他正在關注一種稱為冷通道密封的技術。
已經有一些數據中心在試驗對一些高熱密度地方的冷熱通道進行密封，通道兩端設有大門，為防止熱空氣和冷空氣通過機柜頂端到天花板之間的空隙進行混合，這個位置也用隔板封上。除了這些辦法之外，有的數據中心還讓冷空氣可以直接進入機柜底部，在機柜內與IT設備進行熱交換，然后逐步上升，最后通過機柜頂部的出口進入回風道，通過天花板頂部的管道返回，從而創造出一個閉環的制冷系統，徹底避免冷、熱氣流的混合。
“冷/熱通道的方法其實還是傳統的方法，而不是最優的。”埃森哲數據中心技術經理和運營經理Rocky Bonecutter說：“最新的趨勢是鋪設圍欄，對冷熱氣流進行分流。”
據惠普的Gross估計，如果數據中心利用這種技術，普通的機房空調系統可以最高滿足每個機柜25千瓦左右的制冷需求。“當然，這需要仔細地對冷熱氣流分進行隔離、防止串流，還要對氣流路線進行優化。這些工作必須固定下來，成為一種例行工作。”他說。
雖然按照現在的標準來重新設計數據中心，能降低能耗和解決制冷的難題，然而，單個機柜的功率卻是越來越大，最新安裝刀片服務器的機柜每個功率已經超過25千瓦。在過去的5年里，IT一直在不斷對機柜、高架地板等進行重新設計以及對氣流進行優化，最顯而易見的成果是提高了電能的利用率。但是，如果機柜內的熱密度繼續上升，建設密封的圍欄將確保機房制冷的最后一招了。
#p#
從風冷換成液冷？
為了解決高熱密度機柜中的熱點問題，一些數據中心已經開始轉向到液體冷卻了。最常用的液體冷卻技術稱為緊耦合制冷，需要用管道將冷凍液（通常為水或乙二醇）輸送到高架地板之上或者直接把冷凍液輸送到機柜內部，然后通過風和冷凍液之間的熱交換達到給機柜內部降溫的目的。庫瑪估計，Gartner 20％的企業在使用某種類型的液體制冷，至少在一些高密度的機柜里已經用到了液體制冷。
IBM的施密特說，那些采用機房整體制冷的數據中心，尤其是那些為了應對高熱密度不得不采用更大的柜式空調的數據中心，采用液體制冷可以節省一筆不小的電費施。
但微軟的Belady認為液體制冷僅限于一個相對較窄的領域：高性能計算。“如果你想把制冷的液體送到芯片，成本馬上就會上升。”他爭辯說，“遲早有人會問這樣一個問題：這種方法成本那么高，為什么我還要用呢？”
Belady認為遏制用電密度不斷上漲勢頭的最好方法是改變數據中心的收費方式。微軟如今已經改變了它的成本分攤辦法，不再是僅僅根據用戶的占地面積和機柜的利用率來收費，而是開始把用戶的用電量考慮進來。而采用這種收費辦法之后，局面馬上得到了改觀，每個機柜的用電量開始下降。“如果成本按照用電量來考核的話，機柜內的熱密度自然會下降。”他說。
自從微軟開始按照用電量收費，其用戶的關注重點從在盡可能小的空間中獲得最強大的處理能力轉變為用最小的電力消耗獲得最大的處理能力。這并不是說收費策略的這種改變就一定不會導致出現高熱密度，最終還要取決于所提出的解決方案總體能源效率。 “但是，如果你是按照占用空間的多少收費，100％是引向高熱密度的。” Belady說。
今天，很多IT設備供應商的產品是按最高熱密度設計的，用戶往往也愿意為了節省機房地面空間而購買更貴的適應高熱密度環境的服務器等設備。因為很多機房的收費是按照占用的機房空間來計算的。殊不知，更高的用電量會帶來電力分配設備和制冷用電量相應增加，由此導致電能最終利用率會下降。實際上，營運成本中80％是隨著用電量的增加而會增加的，比如機電基礎設施必須為機柜輸送所需的電力規模，同時為這些機柜內的設備制冷。
Belady以前曾是惠普公司的一名非常杰出的工程師，從事服務器的設計工作。他說，IT設備的設計就應該考慮到讓設備能在較高的溫度下可靠工作。比如用電設備要被設計為最高在27攝氏度以上的溫度下工作。這個設計溫度從2004年開始一直在不斷上升設計師。這一年ASHRAE（美國社會、制冷及空調工程師協會）規定設計溫度為72華氏度（22.2攝氏度）。
不過，Belady認為數據中心設備在27度以上的溫度運行，可能帶來更大的用電效率。“一旦機房允許在較高的溫度下運行，機會之門就被打開了。比如，你可以利用室外的空氣來為機房降溫，這樣你就無需安裝這么多的冷卻設備，不過，機柜的熱密度不能太高。”他說，有些處于氣溫比較低的地方的數據中心已經在嘗試在冬天關閉冷卻機組，而直接使用室外的冷空氣來免費給機房降溫。
如果IT設備可以在35攝氏度下正常工作，很多數據中心幾乎可以全年不用空氣冷卻器。Belady接著說：“而如果IT設備在50攝氏度下也可以正常工作，那世界上所有的數據中心都不再需要空調了，這將完全數據中心的運營方式。不幸的是，至少現在看來是不太可能的。”
Belady希望IT設備能更結實一些，但他也認為，服務器實際上比大多數數據中心的管理者所設想的要結實一些。他認為整個行業需要重新思考如何運營和管理分布式計算系統。
Belady說，理想的策略是要開發出一種系統，這個系統中每個機柜是針對某個特定的功率密度和工作負載進行專門優化的，這可以確保每個機柜始終性能最佳、最節能。這樣，不管是供電還是制冷資源都將得到最有效的利用，既沒有過度利用也不浪費。“如果你的基礎設施沒有得到充分使用，從可持續性的角度而言，與多度利用相比這是一個更大的問題。”他說。
#p#
未來會怎么樣？
Belady認為，未來數據中心可能向兩個方向演進。高性能計算將采用液體制冷，而其他的企業數據中心和基于互聯網數據中心（如微軟的數據中心）仍然會繼續沿用風冷的制冷方式。不過，這些數據中心可能會遷往低價更便宜、電力成本更低的地方，這樣才能繼續擴大規模。
戴爾企業產品部CTO Paul Prince認為，大多數數據中心不會很快遇到高功率密度的問題。每個機架的平均功率密度仍然在機房空調系統可以承受的范圍內。他說，冷熱通道的系統和設計圍欄進行冷熱氣流隔離等方法人為地在機房中開辟出了“一個冷卻區”，在一定程度上解決數據中心局部熱點問題。“數據中心的功率密度和熱密度肯定將繼續上升。但是，這種變化一定是漸進的。”
在ILM公司，克拉克注意到采用液體作為制冷劑的緊耦合制冷方式是一個大趨勢，不過，他和大多數同行一樣，對在數據中心用液體作為冷媒還有些不放心。但他認為，高性能的基礎設施必須采用這些新的辦法。
“雖然暫時有些難以接受，但是既然是個大趨勢，我們會盡快改變我們的觀念，只要這些技術能真正幫助我們解決問題。”克拉克說。
【編輯推薦】
