綜合布線數據中心統籌設計技術
面對未來的需求，數據中心的設計變得越來越困難。作為一種概念，統籌設計希望通過對每一位客戶的需求、可用性要求、籌資能力以及各種商業模型的評估，來滿足數據中心的需求。
在最近進行的一次調查中，要求被調查者說出所在公司對正常運行時間的***要求。針對這一問題，大約25%的人回答,他們***的要求是99.999%!由此不難看出，為什么現在大部分企業數據中心都將系統可用性看成是最主要的設計因素。與此同時，從業者和設計人員卻很難確定針對每個公司的“理想設計”。之所以備感棘手，其中涉及到諸多原因。首要原因當屬數據中心較長的使用壽命。一個數據中心有可能維持10年甚至更長，設計人員通常不會介入如此長的時間，來獲得確定如何改進設計所需的反饋。
與此同時，諸如微小的設計缺陷加上低劣的操作程序等各類因素也會引發很多問題。最終，也許正是由于人們對這方面了解不夠致使改進設計工作遇到困難。我們只有邊做邊學，將從修建上一個數據中心過程中積累的經驗，應用到新的數據中心上，并加以改進。
縱觀現有眾多高可用性數據中心，每個數據中心的設計和運營模式差異巨大，但在很多方面卻又存在著相似點。通過整合各類數據中心的數據、反饋和目標，我們希望促進并協助設計或改進數據中心的過程。
本文要討論的主要問題是：
◆ 電源設計容量的供求不平衡;
◆ 預測未來的電源需求;
◆ 迅速改變數據中心的功率密度;
◆ 建立能夠有效分配電源的基礎設施;
◆ 增加新數據中心的熱限制;
◆ 創建和優化電源冗余選件;
◆ 了解運營和培訓的影響;
◆ 解釋實現“99.999%”的可行性;
◆ 系統的恢復是如何影響可用性的。
UPS供電設計容量與實際需求無法平衡
在設計和建設數據中心時，人們將預測數據中心規模看成是一個基本的程序。但是，如果預測的數據中心設計壽命是10~15年，那么這項任務就變得異常困難。在這種類型的使用壽命期內，房間內的設備可能被新一代的設備“刷新”或更換四五次。IT設備的快速更新使得最基本的未來容量預測成為泡影。
例如，摩爾定律指出集成電路的集成度每18個月翻一番。對于每一代產品來說，附加的晶體管需要成比例地增加電源容量。相應地，微處理器的熱量輸出也顯著上升。Intel***的Pentium 4芯片大約產生100W的熱量。相比486，后者發熱量不足10W。芯片密度的增加以同樣的比率增大了熱量的產生。由此聯想到數據中心的設計，我們所看到的是，功率密度的要求在過去的幾年中迅速膨脹。不久前，每平方米50W還是一個比較典型的數值，但是目前的大部分設計人員則將這一數值增大到每平方米150~200W甚至更多。僅僅在最近幾年中，系統基礎結構就實現了驚人的擴展，以應對數據中心的電源容量和冷卻不斷變化的要求。
預測未來電源需要這一極富挑戰性的任務引發了最嚴重的數據中心問題之一，即UPS設計容量供求的不平衡。這一問題的出現不僅影響了數據中心的效率、利用率和支持能力，而且還妨礙了資本的***使用。例如，一個大型數據中心建成后，經常需要2~4年才能達到或接近設計能力。因此，在前幾年的運營中對電源容量的需求很少。而這時的用戶經常會斥資數百萬美元建設能夠達到全部設計容量的數據中心，包括購買數兆瓦的冗余電源系統來支持數據中心。系統在以最小限度的低容量運行幾年后，才能使用全部容量。在這種情況下，大量的資金用于最初的容量建設，以滿足多年以后才會出現的需要。具有諷刺意味的是，在使用全部電源容量的同時，數據中心仍有很大的占地面積可供使用。出現這種情況是因為設備的功率密度在兩年內不斷增加，電源容量已被全部使用，但占地面積卻十分充足。瞬息萬變的設備技術使這種情況變得更糟，通常數據中心每四年就需要一次大修。除了大修的費用，數據中心的宕機風險也在實施過程中大幅度增加。
圖1 大型互聯網數據中心的利用率典型曲線
這對于以出租數據中心為主要收入來源的設備托管和互聯網服務商來說尤其危險。這些公司在正式運營以前就要支付整個設施的費用，但是與此成本對應的收入經常是在多年以后才會收到。對于這類資本密集型行業來說，在獲得收入之前承擔巨大的成本負荷是極其危險的(如圖1所示)。應注意的是，利用率曲線可能有很大的變化，而且兩年通常是一個非常樂觀的數字。從圖1中可以看出，供求平衡點幾乎永遠也不存在，這樣就會導致巨大的成本，無法實現***的利用率。
圖2 可擴展系統中電源供求的關系曲線
圖2所示為具有更高可擴展性的設計方案電源供求關系。
在圖2中，系統的設計允許容量升級。供給始終大于需求。但是這個特別的階段性設計方法也有局限性。由于基礎設施的變更會給數據中心運營帶來的風險，分四個階段建設非常罕見。實際上，在完成數據中心最初的建設之后，通常需要在一兩個階段內就要完成整個工程。
為了改善電源設計容量與實際需要容量間的不平衡，首先預測未來的需要是很重要的。盡管困難很大，結果也總是不盡如人意，但對于長期的成功卻至關重要。其次，設計過程中需要融合以前設計缺少的靈活性和可擴展性。第三，設計數據中心須注意的另一個方面是實現解決方案的定制化，使其更加標準。這不僅可以降低設計費用，而且可以加速項目的實施。#p#
局部熱量增大將改變制冷系統設計觀念
另一個與不斷增長的功率密度相關的重要問題是數據中心環境中增長的熱量。在數據中心，所有電力實際上都轉化為熱量，之后熱量又被排放回運行環境中。
多數數據中心機房制冷系統都存在各種基本的設計和配置缺陷，這可能會導致無法獲得既定的冷卻性能，同時阻礙冷空氣的流通。這些問題通常不會被發現，因為計算機機房運行的功率密度通常遠低于設計目標。然而，隨著IT設備功率密度的增加，使得數據中心機架微環境逐漸接近其設計極限，進而暴露出了無法提供有效冷卻性能的問題。
圖3 典型數據中心功率消耗分布
低效的冷卻性能除可能降低系統可用性外，還可能導致成本大幅增加。設計的缺陷可能將冷卻系統的效率降低20%或更多。圖3所示為典型數據中心功率消耗分布，冷卻系統消耗的功率接近整個IT負載消耗的功率。冷卻效率降低20%，便可能導致整個功率消耗增加8%。
要對數據中心的冷卻系統進一步優化，不僅要考慮冷卻設備自身的設計和規范問題，還要注意整個冷卻系統為設備提供冷空氣的過程。
事實上，不斷增加的散熱需求對于目前的數據中心來說無異于又多了一個負擔。當環境溫度超過一定限度時會導致系統發生故障，而系統故障最終會導致意外的宕機。盡管現在的高架地板上通常可以放置新的空氣處理器，但是高架地板的高度對額外的空氣流動不利。尤其是電源和數據電纜數量的增加以及更大的冷卻水管可能會妨礙地板下空氣的適當流動，最終導致缺少足夠的靜壓來冷卻高密度的機架設備。解決問題的一個辦法是在相應的設備前增加額外的出風口。這通常可以增加該點上的制冷量，但同時也會影響其他區域的靜壓。
另一個類似的方法是增加空氣處理器的功率。如果能夠用更大的風扇吹出更多的空氣，出風口就會得到所需的靜壓和冷卻。但是在某些的情況下，結果恰好相反。功率大的馬達產生的流速快的氣流可能會在鄰近的出風口處產生文德里效應。文德里效應是一個基本的空氣動力學定律。根據此定律，當流體以相對較高的速度通過一個表面時，對表面的壓力就會降低。
文德里效應會導致某些部位致冷效果變差，使設備運行變得不安全。過去，即便數據中心失去致冷功能1個小時甚至更長時間，也能保持安全運行。但是如今，高密度數據中心產生的巨大熱量意味著如果致冷暫停幾分鐘，溫度就會上升，從而威脅設備的運行。
快速散熱的要求不僅影響系統設計，而且會影響致冷設備的維護。過去，在更換過濾器或維護空氣處理器時，出現短時間斷電不會有太大影響，但現在所帶來的危險已不可同日而語了。
圖4 熱通道—冷通道方法
因此，更高級別的空氣處理器冗余配置變得越來越普遍。附加的冗余配置使維護工作和設備故障不至于威脅到整個系統。這方面，一些基本的方法已經取得了較好的效果，例如“熱通道—冷通道方法”。該方法是一種機柜布局方式，有助于***限度地增加設備機柜入口處的冷氣量。如圖4所示。
使用這種方法，機柜的前端彼此相對，并在相應的通道中裝有出風口。這樣就形成了“冷通道”，有助于設備入口接受冷卻空氣。在后通道上，每個機柜的背面彼此相對，熱空氣排進該通道中就會上升并產生更強的對流循環。
致冷問題還表現在一些采用電信設計規范的數據中心。這些數據中心拆除了高架地板，在頂部使用大流量空氣處理器實現冷卻。但實際上，采用這種做法冷卻的是整個房間，而不是機柜。同時該方式還可能存在諸如冷卻水泄漏和冷熱空氣混合的問題。#p#
關于系統可靠性和可用性的討論
就數據中心的統籌設計而言，必須討論的另一個重要問題是系統的可用性和可靠性。很多客戶、設計人員和設備提供商在談到可用性時很少采用量化的概念，也很少了解實現這些目標須采取的措施。例如當前業界使用非常頻繁的“99.999%”。“5個9”相當于每年5分鐘的宕機時間。目標固然理想，但是要在很長時間內保持這一標準就必須滿足一些實際要求，而這些要求卻常常得不到設計者足夠的重視。
對可用性的誤解
一個常見的誤解是可用性是在限定的時間間隔內測量出來的數據，而不是一個連續測量值。例如，如果數據中心一年未發生宕機，但在隨后的1個月發生了1小時的斷電。在這種情況下，如果說數據中心在除了該月之外的所有月份都達到了“5個9”的可用性，那么從技術角度來講這是不準確的。實際上，1小時的斷電會使數據中心的可用性在12年內達不到“5個9”的目標，其原因如圖5所示。
圖5 1小時斷電對可用性的影響
可用性是在系統運行壽命期內的連續測量值，它是用總的正常運行時間除以總的運行時間得出的。通過調整時間框架，尤其是縮短所計算的時間，系統可用性目標的實現變得相對容易一些。每個月簽定的服務級別協議就是其中一個常見的實例。將可用性時間劃分為1個月的時間間隔可以達到高級別的可用性目標，但是相對于真正的系統可用性而言則沒有太大的意義。
在確定可用性目標時，人們很少為確定數據中心實際可能達到的潛在可用性目標而進行認真的分析。部分系統每年可能發生幾十次一兩秒鐘的斷電，1 分鐘以下的中等程度的斷電事故在一年內可能出現5~6次，1小時或更長時間的斷電可能一兩年才會出現1次。
在建立這樣一個系統模型時，需要考慮頻度和持續時間的事件密度函數。即使5秒鐘的斷電也可能會導致發電機啟動，并影響不間斷電源電池。從根本上來說，對一個復雜的電源系統來說，一個5分鐘的事件與60個5秒鐘的事件之間有著巨大的區別。
與此同時，還要考慮重新啟動和恢復時間，一次1秒鐘的斷電可能會使服務器宕機20分鐘。因此，考慮可用性時存在很多的統計屬性和非線性關系，使得這種可用性計算變得非常困難。不考慮這些電源事件因素的模型得到的結果是沒有意義的，甚至會導致錯誤的結論。
圖6 典型的冗余策略
圖7 系統MTTR值與不可用性(1-可用性)的關系曲線
圖8 系統MTBF值與不可用性的關系曲線
對冗余系統的正確評估
實現可用性的下一個步驟是評估電源系統的冗余和可維護性策略。常用的冗余形式各異，但常常缺少優化的方法。圖8 顯示的就是這樣的實例。
如圖6所示，UPS系統采用了全面的系統冗余(2N)，但是單電源負載是由一個PDU供電的。而這個PDU又串聯了很多組件，成為單路徑故障點。其中包括系統輸入斷路器、變壓器、輸出斷路器、主配電盤斷路器，以及支路斷路器。在某些設計中可能形成5~7個單路徑故障點。
這種設計使UPS系統有充足的冗余，但是在配電系統中卻沒有。這樣一來，會導致可用性瓶頸，或一部分可用性較高，而另一部分可用性較低。假定宕機時間是可累加的，可用性不高的環節始終會妨礙系統達到***的可用性，這在統籌設計過程中是一個需要特別考慮的重要因素。一個系統內部的可用性差異意味著，如果在一個地方花費過多的資金，其他地方的投入將減少。實現平衡對于***限度利用資金獲得***的可用性來說至關重要。#p#
MTTR對可用性的特殊作用
優化可用性的另一個方面與恢復時間有關。可用性是與平均無故障工作時間(MTBF)、平均恢復時間(MTTR)相關聯的函數。所有的系統都會在某個點上出現故障。這是事實，但是，可用性高的系統不會受到太大影響，并且可以快速、高效地修復。有證據顯示，如果MTTR過長，就不可能達到較高的可用性。
從圖7和圖8可以看出，平均恢復時間對提高系統可用性的作用遠大于平均故障時間(MTRF)的作用，其原因有以下幾點：?
***，MTTR對提高可用性的作用是MTBF根本達不到的。
第二，提高MTBF值對可用性的提高并不是總有效的。
第三，MTTR的變化與可用性總是呈線性關系。
另一個需要了解的影響可用性的情況是，數據中心的操作人員無法控制一個部件的MTBF，但是在很大程度上，MTTR是可以控制的。數據中心操作人員可以控制MTTR，這就要求現場必須儲存100%的備件，操作人員需要接受有關設備操作的培訓，同時要了解必要時更換或維修設備的程序。
考慮備件庫存是建立數據中心可用性預期的一個重要組成部分。為此，應對本地人員進行培訓，詳細講解操作程序。與涉及關鍵業務設施的其他領域相比，數據中心的操作人員接受的培訓少，操作程序亦很簡單。此外,復雜性也是造成宕機的重要原因。有最近的統計數據顯示，高達50%的宕機與人為錯誤有關。很明顯，必不可少的培訓和備件是實現高可用性的先決條件。
EPO對可用性的影響
可用性數據是建立在統計學或經驗數據的基礎上。而這些統計或經驗數據又都是基于以前的運行經驗。
其中有一個原則是關于數據中心緊急斷電(EPO)開關的使用。在大部分情況下，EPO系統是必備的，而且它們被設計成數據中心必不可少的重要環節。出于安全原因，它們能夠立即使數據中心完全宕機，但在其設計方面也常有不足之處。鑒于它們對數據中心的影響，必須詳盡地考慮這些因素，仔細檢查隱藏的陷阱。
第二個原則被認為是提高可用性的關鍵原則。該原則指出，高可用性系統要在系統出現故障時使系統的狀態變化最小化。某些系統設計時盡管提供了冗余措施，但如果一個部件發生故障，仍然需要進行狀態的多種變更。換句話說，如果出現故障，***不要改變狀態，也不要重新確定電源路徑，或者被迫啟動系統;而且此時替代系統已經可以運行，且準備就緒。這樣的系統冗余最可靠，但也會更昂貴。
綜上所述，在建立完全適合客戶需要的系統過程中，需要統籌考慮以下各種因素：
◆ 當前的系統需求
◆ 后期未來的系統需求
◆ 系統可用性要求
◆ 資金預算狀況
◆ 商業模型
認真地檢查所有這些因素，會使客戶滿意度達到***水平，并使項目和業務的成功概率達到***。
【編輯推薦】
