挖深地基——數據中心基礎設施建設分析
木桶原理告訴我們，木桶盛水的多少取決于長度最短的木板。建筑裝修、供配電、制冷、集中監控、消防、布線等系統共同組成了數據中心基礎設施的“木桶”，這一木桶的盛水能力（整體生命周期的高可用性）并不決定于哪一部分多么出色，而取決于哪一部分做的最差。
苦盡甘來 用戶的苦與甜
元·王實甫《西廂記》：“忘餐廢寢舒心害，若不是真心耐，志誠捱，怎能勾這相思苦盡甘來。”苦盡甘來是指艱難的日子過***好的日子來到了。在越來越受到關注的數據中心基礎設施建設中，希望廣大用戶同樣能享受到“苦盡甘來”的美好。
暑期將至，在去年酷暑時期發生的多起因溫度過高導致的服務器等關鍵設備中斷的慘痛仍歷歷在目：新浪任你郵發出預警，由于北京地區持續高溫，網通機房的溫度已經達到……；北京網通ADSL設備出現的大規模故障；重慶電信服務器突然“癱瘓”；所有這些都是熱量惹的禍，也由此引發了數據中心機房建設的大討論。在以往的機房建設中普遍忽略了對隔熱、通風的設計，也浪費了大量電力。
兩年前，記者到中國石油集團東方地球物理公司研究院參觀，機房中排列著非常多的裝載著服務器和磁盤陣列的機柜，提供電力保護的UPS也同樣顯眼。這里并沒有發生過溫度過高而帶來的宕機，但當記者和該院副總工程師賴能和交流機房中散熱問題時，正是在國外的先進機房中采用了機柜“面對面、背靠背”的擺放方式代替了“隊列式”的擺放方式，這樣可以對散熱有非常大的好處。賴總非常認可這一“改良”。但對于已經建好的機房，由“隊列式”改變成“面對面、背靠背”并不容易，涉及到布線、地板等一些基礎設施的改變，況且讓服務器等設備全部停下來也不是件容易的事。可喜的是，目前這一“改良”已經在很多新建的機房中得到了采用。
再來看看布線，布線作為***層的網絡傳輸平臺，同樣具有著超長的生命周期，選型適當超前并沒有錯，正如故宮博物院資料信息中心主任胡錘所說，“如果當初我們的資金更富裕，在布線時更超前一些，后來的網絡升級可以省去很多麻煩。”
上面幾個實例的數據中心機房建設都是幾年以前完成的，那時侯用戶對數據中心基礎設施的認識還有些缺乏，相應的技術、產品以及理念也一定程度上限制了用戶的思維，不過在最近建設的很多數據中心中，用戶已經品嘗到對基礎設施重視的甘甜。
平頂山煤業集團剛剛進行完數據中心的建設，集團計算機通訊中心張長松主任對基礎設施的認識比較超前，“數據中心的建設是一個先導性的項目，只有這個項目先期完成，才有可靠的基礎物理環境，所有網絡、計算、存儲設備才有良好的安裝和運行條件。”因此該數據中心選擇了英飛集成系統，包括機房輸入配電柜、40K N+1模塊化電源、22套機柜、2臺精密空調和英飛管理器，形成了一個整體機房的構架。這是記者見到的比較出色的機房，不但全部采用了模塊化設備，為后期的擴容打好了基礎，而且將制冷和管理放在了同樣重要的位置。
當然，平頂山煤業集團在資金上對基礎設施的建設提供了保證。對于很多用戶來說，捉襟見肘的項目資金無力挖深機房的“地基”，湖南工程學院網絡中心主任廖毅就面臨這樣的問題，但廖毅把這一問題處理得很好。記者在湖南工程學院機房參觀時，明顯感覺到這是一個重視基礎設施、在超前理念指導下建立的機房。為了保證機房潔凈度、溫度等的要求，新機房在規格上有了新的提高，如精密空調的管道已經做好了，由于資金不足，還沒有上馬；布線系統選擇了SYSTIMAX的6類產品，以滿足對語音和視頻等的傳輸。這也在為投資保護、延長生命周期方面發揮著作用。“即使在未來，如果需要再升級之時，機房本身是不落伍的，將核心交換機推向邊緣就好了。”廖毅表示。
取長補短 用戶的理想做法
《孟子·滕文公上》：“今滕絕長補短，將五十里也，猶可以為善國。” 取長補短泛指在同類事物中吸取這個的長處來彌補那個的短處。在數據中心基礎設施的供配電、空調新風、集中監控、消防、布線等眾多方面，用戶最理想的做法是盡量把“短”的方面補“長”，而不應該一味地對“長”的方面再加“長”。
中國計算機用戶協會機房設備應用分會副理事長沈衛東講，用戶給機房設施“隨需應變”的要求，對機房的規劃、設計、設備選型、運行維護等四個環節及電源、空氣調節、防雷、機柜、監控等多個子系統提出了挑戰。
從目前看來，對于很多用戶來講，制冷和空氣調節的“木板”有點短，文章前面提到的服務器宕機也因此所致。據相關數據顯示，我國有近33％的機房曾因為空調制冷問題出現過宕機現象。除了因制冷系統問題影響數據中心整體可用性外，耗電量大的問題也一直困擾著人們。在機房中，除了必不可少的IT負載，空調制冷設備的耗電量位列次席。
“傳統的制冷系統是基于二三十年來陳舊的制冷科技而設計的，它們僅考慮到空調主機本身的制冷能力，而不考慮機柜內部IT設備的制冷需求，常常會出現機房的室溫很低，但某些機柜內卻超過了IT設備正常工作的溫度。即使在整個機房內，這種制冷解決方案也沒有考慮到冷熱氣流通道的問題，使得冷熱氣流混合無序，大大降低了制冷效率。而制冷效率降低除了可能降低系統可用性外，還可能導致運行成本大幅增加。”沈衛東講。
42U的機柜通常所裝載的設備為什么只占據10~20個U？這是機柜的散熱能力以及配電能力有限所致。我們具體分析一下原因。
機柜內的設備需要溫度、濕度適宜，并且風量充足的冷風（冷空氣）。這些冷風被機柜內的IT設備吸入，從而為設備內的部件尤其是CPU降溫。當機柜內設備增加到一定數量時，由地板出風口送出的冷風的風量將不能滿足所有設備的需求，從而形成部分IT設備配風不足而過熱。解決機柜內設備密度擴展時遇到的這種局部熱點問題可以采用調配IT設備位置的方式來解決。例如，把熱負荷***的設備安裝在機柜中部位置，以便獲得***的配風風量。另外，在機柜的上部或下部位置安裝軸向水平的強排風扇，增強上部或下部的吸入能力（即減小IT設備的入口靜壓），從而增加配風風量。值得注意的是，早期機柜的頂部通常都安裝有垂直軸向的、向上排風的強排風扇，但這種風扇對目前的標準IT機柜沒有任何作用，因為現在所有的機架式IT設備均為前進風、后排風。
合理的布置機柜對于確保機柜擁有適當溫度和足夠的空氣非常重要。采取“面對面、背靠背”的機柜擺放方式，這樣在兩排機柜的正面面對通道中間布置冷風出口，形成一個“冷通道”的冷空氣區，冷空氣流經設備后形成的熱空氣，排放到兩排機柜背面中的“熱通道”中，通過熱通道上方布置的回風口回到空調系統，使整個機房氣流、能量流流動通暢，提高了機房精密空調的利用率，進一步提高制冷效果。
目前，一些廠商也對此非常關注，并推出了相關方案。APC公司市場推廣總監楊曉怡介紹，APC新推出一系列與InfraStruXure（英飛集成系統）兼容的模塊制冷解決方案，包括InfraStruXure InRow RC（英飛 InRow 機柜制冷單元）、InfraStruXure Cooling Distribution Unit（CDU，英飛制冷分配單元）和Rack Air Containment System（RACS，圍欄式機柜氣流解決方案）。這些新的制冷產品是可擴展的、可升級的、模塊化的，能夠提供具有可預測性的準確效果。與傳統的制冷方式相比，可提供可靠的、可預測的、足夠的制冷能力。這些制冷產品是APC整體數據中心解決方案的組成部分，其安裝非常簡便。通過減少數據中心規劃和建立的時間，可以為用戶帶來更多的效益。
艾默生網絡能源有限公司信息機房設計總工朱利偉認為，該公司提供的動力機房一體化整體解決方案中包括機房氣候調節解決方案部分，以解決機房設備對于制冷的需求。DataMate 3000系列空調是小型機房專用空調產品，包括7KW和12KW兩種制冷量、并具有多種配置供選擇; DataMate迷你型電信專用精密空調，具有完整的溫濕度控制功能，是專為保障在通信機房及計算機房中使用的精密電子設備而設計的，制冷量范圍從4.9KW~8.6KW；模塊化精密空調系統Challenger M+系列，模塊制冷量范圍寬，從20KW~100KW，適用范圍廣；Deluxe System豪華系統精密空調專為精密電子設備提供全方位的環境控制。
科士達最近推出了一體化柜式機房正是整體機房理念的產物，在標準機柜內，整合了動力輸入、智能配電、環境監控、溫度調節、布線管理等功能在內的一體化方案。
步線行針 用戶別忽略布線
元·康進之《李逵負荊》二折：“哪怕你指天畫地能瞞鬼，步線行針待哄誰？”步線行針比喻周密布置。用戶在進行數據中心布線時，同樣要進行周密考慮，理想的方式是加上管理功能。
數據中心的電纜分為兩大類：一類是動力電纜，比如為每個設備提供的供電電纜；另外一類為信號電纜。朱利偉表示，“對于動力電纜，要求對每個電纜的來向、去向進行詳細而準確的標記，貼上標簽等。信號電纜包括服務器的外設電纜、網絡電纜以及光纖等。通過KVM或者遠程控制系統可大大節省外設電纜。網絡電纜或光纖要求標示清晰，捆扎整齊。此外在數據中心建設的時候，必須規劃好足夠使用的信息點，避免后期不斷修改、不斷增加電纜導致的混亂。”
機柜內的設備需要供電以及與機柜外部進行通信。當機柜內的IT設備數量增加時，這些線纜、連接端子同時成倍增加，如果要增加電源排插的數量，則需要考慮是否該留有空間、在配電柜上是否應留有接線位置。機柜內的布線空間也是需要提前考慮的，因為當機柜內的功率密度提高時，設備后部的線纜將明顯增加風阻，所以必須考慮線纜管理及走線空間的問題。
哈爾濱商業大學進行了擴建，機房也重新進行了建設。該大學圖書館副館長孫明先生介紹，“他們采用了InfraStruXure英飛系統，采取上走線方式，所有的連接線全部從機柜的頂端穿過。這樣一來，在移動設備或維修時就不用像原來那樣要翻開地板尋找各種連接線，減少了服務器、交換機等關鍵負載和UPS之間的故障點，提高了整個電力系統的可用性。”
SYSTIMAX中國區技術總監許向紅表示，SYSTIMAX iPatch實時網絡基礎設施管理系統，為數據中心提供了銅纜和光纜連接交互式的實時控制。結果是網絡管理的響應時間更快、安全性更好。系統提供了自動的路由管理，幫助技術人員正確完成工作指令并提供服務。
西蒙中國技術經理陳宇通認為，機房日常管理工作量***的是線路維護和跳線管理，隨著時間的累積，不正確的文檔記錄完全不能體現機房內線路的實際情況，等同虛設。西蒙公司***推出的智能管理布線系統MapIT，在西蒙高端布線系統上融合了傳感技術和以太網技術，將布線系統及其連接設備互動起來，以實現自動發現及實時監控網絡端口連接。
泰科電子公司高級技術主管許楠則從另一個角度對問題進行了闡述。用戶通常需要在有限的空間內***限度地提高網絡容量。泰科電子公司推出了銅纜MRJ21高密度的布線系統產品，以及光纖MPO高密度布線系統產品，同時與智能布線管理系統AMPTRAC相結合，滿足了數據中心和存儲區域網絡的特殊要求。
舍近求遠 用戶遠程管理于指尖
《后漢書·臧宮傳》：“舍近謀遠者，勞而無功；舍遠謀近者，逸而有終。” 舍近求遠是指舍去近處的，追求遠處的。對于數據中心來講，我們還真需要一種舍近求遠的做法，在遠程管理于指尖。
當今網絡時代，如何提高競爭力，如何加強數據中心的建設和管理已迫在眉睫。面對機房不斷擴容、遷址、改建、新建的變化，越來越多的用戶已經不愿再被動應對。有什么辦法能讓用戶在不斷成長的數據中心面前游刃有余呢？
哈爾濱商業大學圖書館副館長孫明先生講: “中心機房放置的網絡設備和服務器采用機架式安裝。一般按每個機柜安裝5個服務器配置，服務器采購時配備機架導軌，同時為每個機柜配置顯示器、鍵盤、顯示器隔板、鍵盤抽屜和8口顯示器鍵盤共享器。”系統中各種功能模塊、控制模塊都可以通過內部的LAN進行監控，管理員可以在遠程監控中心的監控PC上查看整個UPS系統內部各個模塊和配電單元的狀態，并可隨時處理系統出現的問題和故障。對遠程管理，孫先生深有體會，“我們圖書館在江北的新校區，而機房管理人員都住在江南，距離很遠，正是遠程管理功能幫了忙，因為管理員可以在遠程通過Web方式實時監控設備的狀態，在家里也能進行管理操作。”
美國Avocent公司中國戰略合作伙伴總監張婷女士表示: “用戶對整體系統的每個子項都需要一種管理工具，界面、賬號、密碼都不盡相同，但用戶需要的是一個整合的統一管理平臺。”Avocent新一代數據中心管理方案，通過“Over IP”遠程集中式服務器管理、串口設備管理、電源設備管理、環境監控等，將機房所有IT資源全部整合到統一的系統架構中，并通過強大的統一管理界面，高效集中管理任何地點、任何分散的機房IT設施。
Raritan中國區技術經理周里功認為，Raritan的“無人機房”解決方案能實現管理者在任何時間、任何地點都可以集中管理機房的設備。該方案可以管理的設備有：跨平臺的各種服務器、交換機、路由器、UPS等基于串口控制的設備，對設備的管理可以做到遠程的電源開關機管理和BIOS一級的管理和維護。 #p#
相關鏈接一
實例分析
為了提高網絡運行性能，吉林鐵通決定對既有信息網絡系統進行重新梳理，在吉林鐵通現有的中心機房內，供配電、精密空調、防雷和環境監控等設備已經完成了一體化組合設計，無須進行重新整合，而供電系統和布線工程則是此次改造的“重頭戲”。
在通信大樓中，數量眾多的IT設備分布在不同的樓層。通信大樓中心機房原來用的都是小容量的逆變電源，供電系統已經不能滿足網絡通信運營。因此，采用大功率UPS系統成為吉林鐵通所考慮的問題。此外，在選擇UPS時考慮的另一個問題是，改變原來的分布式電源管理方式，通信大樓1樓中心機房的UPS系統將為1樓到6樓的所有IT通信設備和業務系統提供電力保障，因此從1樓到6樓都必須重新設計走線。科華三進三出并聯型FR-UK/B33100（100KVA）工頻機UPS系統應用于省級通信大樓的中心機房，為1樓到6樓的所有IT通信設備和業務系統提供電力保障，形成UPS、布線、網絡監控等一體化整體解決方案。
從分布式管理向集中式管理轉變不是一件容易的事，首先要解決通信樓龐雜的布線。如果在原來的布線基礎上直接增加線路，只會讓管理更加困難，而且對于系統維護及日后擴容都將是一項浩大的工程，要從根本上解決問題只有重新設計走線。方案實施時，對1樓到6樓全部線路進行調整，并重新配置交流配電柜，每層樓的交流輸入、輸出線走單獨的線槽，從而為集中管理打下基礎。方案還配置了KELONG UNMS-1網絡智能管理系統，通過UPS的RS-232、RS-485通信接口和外配軟件，可以方便地實現UPS的近程和遠程的智能監控。
相關鏈接二
編看編想
留有余地
數據中心機房可以簡單認為由兩個層面組成——IT層面和機房設施層面。從目前國內的情況看，機房設施的建設有“一步到位”的方式與“逐步升級”的方式，對于很多用戶來講，更愿意選擇后者。這就牽扯到擴容問題，所以要為將來的擴容“留有余地”。
在規劃環節，首先需要在機房選址問題上考慮擴展性的要求，包括對面積、樓層位置、樓層凈高、地面載荷等方面的要求。如果決定采用單一房間，顯然要考慮未來擴容時的IT設備及機房設備的面積需求。擴容時如要占用其他房間，這就需要同時對欲占用的房間進行同樣的結構評估。
沈衛東介紹說，空調室外機與機房的垂直距離不宜超過15米，所以機房的選址樓層多選在距離樓頂、底層或設備層較近的樓層，并預留足夠的空間，以備未來機房空調系統擴容時安裝空調室外機。如果未來擴容時希望增大機房內的設備密度，則必須考慮未來的設備重量與機房地板的承重力。
對于一般規模機房來講，可以不考慮擴容對電力變壓器的要求，但是需要考慮機房供電線路的容量問題。由于供電線路的擴容改造工程比較復雜，所以建議在機房初建時，應預留能夠滿足未來機房設備擴容需求的容量，其中應特別注意空調機等設備的負荷問題。
【編輯推薦】
