颶風桑迪：曼哈頓數據中心的災難應急方案
譯文【51CTO專稿】在曼哈頓下城區，颶風的影響令電梯無法正常工作，Peer 1 Hosting公司的管理員們不得不用大桶為位于18樓的柴油發電機補充燃料。而在新澤西州，SunGard公司則緊急規劃燃油車行進路線，避免車輛為洪水所困。
紐約城嚴陣以待，中心商業區曼哈頓的證券交易所門口擺滿了沙袋
災備規劃已經被公認為數據中心運維工作中的***實踐之一，但颶風桑迪用自己的強大的威力證明，自然災害一旦出現，管理人員意料之外的情況總會不請自來。在這個時候，固有災難恢復計劃很可能暴露出諸多弊端，這就需要管理者即興發揮、針對具體情況迅速做出反應。
即使是SunGard公司這樣一家專門從事災難恢復工作、有著豐富經驗的企業同樣在新澤西迦勒斯大遇上了麻煩。那里河堤崩潰、附近的三家數據中心受到嚴重影響。他們在現場搭建起架空地板，希望能憑借這一丁點高度上的優勢避免洪水在漫入停車場之后觸及數據中心設施。問題還不僅如此，為備用發電機運輸燃料的車隊同樣舉步維艱。正所謂禍不單行，接踵而至的打擊令管理人員一籌莫展。
位于曼哈頓低處百老匯街75號附近的Peer 1基礎設施處境尷尬，管理人員們組成的救災小隊憑借健壯的體魄與堅強的意識，把一個個五加侖容量裝滿柴油的燃料桶從地下停車場運送到17樓——這堪稱一項壯舉，理應獲得由市長辦公室頒發的應變能力獎。數據中心后備柴油發電機位于18樓，源源不斷供往17樓日常供應油箱的燃料被泵至上層，保證了服務的正常運作。
Peer 1 Hosting公司董事長兼CEO Sabio Banducci指出，他的公司不得不在“大廳積水達四英尺深”的情況下停止辦公，積水甚至一路下滲、影響到了地下室以及正在修建當中的燃料輸送系統。本來能夠在颶風侵襲下發揮巨大的作用的地下管道就這樣被洪水瞬間擊潰。
75號的建筑工程師們正試圖修建一套后備管道系統，但其傳導壓力不足以將燃油提升到17層樓的高度。Peer 1公司的災難恢復小隊曾經在2003年困擾整個曼哈頓地區的大規模停電事故中表現出色、成功在逆境中維持了數據中心可用性，這一次他們再次迅速做出反應，希望通過車載泵等手段解決問題。然而現實令人沮喪，由于公共交通幾近癱瘓、城市街道嚴重堵塞，運輸公司無法及時為Peer 1提供燃料供應。眼看日常供應油箱里的儲備已經不多，停機似乎根本無法避免。
作為Peer 1公司的客戶，網站開發企業SquareSpace很快意識到問題的嚴重性，并在***時間通知自家用戶之余，提醒Peer 1稱：全市“燃油與供水都處于短缺狀態。”該公司于本周二在博客上專門撰寫博文陳述了當時的情況。
Peer 1公司也在周二上午10：45更新了博客狀態，指出“有計劃實施計劃內停機。”好在應急小隊的英勇表現終于力挽狂瀾，使得這次颶風并未導致任何停機故障。
Peer 1公司的柴油發電機部署在大樓樓頂，這一方面免去了設備被雨水淹沒的后顧之憂，卻在另一方面導致工作人員很難為其供應燃料。Peer 1數據中心經理及其團隊決定組織一個“尖刀班”，在電梯無法使用的情況下依靠人力將燃料從樓梯間搬運到油箱所在地。這是一場人與自然之間的艱苦斗爭，他們無法利用任何現有災備計劃，只能憑借頭腦與雙手奮力一搏。
數據中心工作人員連同其他Peer 1員工及多家分包商組成了25個攻堅團隊，自十月三十號晚到十月三十一號上午一刻不停地為17樓的日常供應油箱加注燃料，以確保柴油發電機的長效運轉。而接到“計劃內停機通知”的客戶也行動起來，為可能發生的故障提前做好數據保護工作。然而與預期不同，服務并未中斷，Peer 1公司不負眾望、在颶風桑迪的肆虐下頑強堅持了下來。
“不少客戶都以為停機在所難免，但在得知我們為維持服務所做出的艱苦努力后，他們也加入到應急工作中來，”Banducci告訴我們。
由25人組成的運輸隊在大樓樓梯間隨時待命，將裝有五加侖柴油的大桶逐級向上傳遞。曼哈頓網站開發企業SquareSpace公司是率先加入到工作中來的Peer 1客戶，其雇員還把雙方攜手奮戰的照片于本周三發布在企業網站上。另一位伸出援手的客戶則是Fog Creek公司，這是一家專門為在線項目管理開發協作軟件的企業，總部位于相隔不遠的百老匯街55號。
在運輸卡車抵達的間歇，員工們將貨廂中的8個15加侖柴油圓桶逐一卸下，并小心倒入擺放在地面高度上的5加侖容器之中。位于18層的發電機此刻擺出無情的面容，重重疊疊的樓梯考驗著每一位員工的體力與意志。就在這種情況下，三個25人隊有序開拔，開始了漫長甚至充滿折磨的搬運工作。
Banducci不無自嘲地把這次應急行動稱為“公司剛剛研制的自發性健身計劃”——不過參與者必須自愿放棄睡眠。在他的果斷決策下，周三晚間大規模停電出現時發電機油箱幾乎處于滿載狀態，數據中心也始終運轉如常。雖然大樓底層仍有儲備燃油，但由于缺乏對停機可能性的預估，管理者們沒能在電力尚未中斷時及時將燃料運送到位。周三中午員工們甚至輕松愉快地花了90分鐘享受午餐。為了避開城市擁堵的交通，其他工作人員步行通過布魯克林橋、給現場同事帶來了餐點。正是由于災難恢復計劃對意外事態估計不足，Peer 1公司才在一天之內從天堂摔進地獄。
但并不是每個人都如此幸運。與Peer 1公司相隔不遠的另一家托管服務供應商Internap公司的故事則完全不同。他們在停電時立即啟用現場發電機及備用燃料供應，“然而洪水持續不斷、威力驚人，我們的冗余燃油泵與發電機燃料罐最終進水并引發失效。系統仍然運行了一段時間，直到上午11：45后備油箱被用光、設施就此陷入一片黑暗”。該公司在周二發布的通知中寫道。
Internap公司開發及運營高級副總裁Steve Orchard在周三上午的報告中稱，百老匯街75號的設施在燃油系統與發電機恢復工作后已經能夠正常運行?？蛻粝到y再次上線，這時管理者手中已經擁有足以應付40小時使用的柴油與運輸卡車資源，他寫道。
Internap公司的另一套設施則位于地勢更低的曼哈頓第八街111號，其屋頂也部署了發電機。然而由于“建筑燃料供應系統發生故障”且“泵機無法為屋頂的發電機提供柴油，工作人員不得不關閉了持續供電系統。因此備用電池耗盡之后，我們的基礎設施也失去了動力，”Orchard在Internap公司的博客狀態中解釋稱。
正因為如此，使用Internap公司第八街設施作為互聯網接入點的客戶在電力恢復之前徹底喪失了業務能力。“我們一直在努力與供應商協調，嘗試盡快恢復現場設施的工作狀態，”他在周三的博客中寫道。
桑迪過后 緊張忙碌的救援人員
當時建筑中燃料管道與泵機的狀態我們尚不清楚，不過估計這些在短期測試時運轉正常的系統發生了很多小問題——管道中存在大量碎片、堵塞了過濾器或是某個機械零件失靈導致接下來24小時中系統始終無法復原。雖然新建樓宇普遍部署了能夠報告系統功能、幫助管理者發現薄弱環節的工具，但想在實際應用前準確預測此類問題仍然非常困難。即便如此，經驗豐富的建筑工程師仍然應該時刻關注供給系統、通過分析與反饋確定潛在風險。無論出于何種原因，最終的結果證明了第八街111號燃料系統在災難發生時的無力，這一點值得建筑工程師們加以深思。
不過即使是SunGard公司也承認，不可預見的事件總會發生，并最終破壞看似盡善盡美的災難恢復規劃。Nick Magliato指出，他和他的應急小組兵分兩路，分別在現場與大樓底層通過步話機進行溝通，討論這場規模完全超越往年同季颶風所引發的洪水可能從哪里侵入。
周一晚上，風暴帶來的降水超過排水溝11英尺之高，不過此時的水量還處于大壩能夠控制的范圍之內。SunGard公司地面團隊發現雨水已經開始溢出，并慢慢向SunGard公司三個位于工業園區內的數據中心蔓延，但積水高度盡為一兩英寸，上漲速度也還不算快。當時工作人員還抱有僥幸心理，希望這次由災害引發的洪水能夠靜靜地來、悄悄地走。
然而天不遂人愿，來自地面小隊的信息顯示，短短十分鐘洪水深度已經上升了一點五英尺——來自數據中心的標尺測量結果令人揪心。大壩出現裂縫，水流逐漸涌出。面對這樣的狀況，Magliato意識到“按照這樣的速度，用不了太長時間整個地方就會被洪水徹底淹沒。”
觀察員根據遠距離測量結果向數據中心發出警報，提醒管理者盡快組織應對措施。不過老天爺留給大家的時間并不多，僅在警報發出之后不久，工業園的停車場邊界就出現了大量積水，園區內部也很快慘遭侵襲。Magliato仍然在努力指揮工作人員把數據中心設備搬運到設施中的活動地板上，希望能夠依靠這一點點高度差優勢與洪水對抗。然而每個忙碌在現場的人都知道水位還將增加六到七英尺，無論如何掙扎設備最終都必然受到損害——因為根據災備規劃，沒人能想到洪水能達到現在的規模。
盡管如此，SunGard公司的應急小隊還是發現自己所做的搶救工作與保護目標越來越南轅北轍——迦勒斯大當地從未遇到過此等降雨，所以預先制訂的措施幾乎瞬間失效。當時企業整個管理團隊都投身其中，甚至全部董事會成員都接到了緊急通知。公司向客戶發出警示，并以電話會議的形式隨時通報***情況——在嚴峻的形勢下，客戶得以準確了解現場事態、實時水位，并以此為依據時刻準備迅速轉移或關閉程序。
有鑒于此，Magliato在接受采訪時指出，他意識到了自己在制定災備恢復規劃時的疏忽與大意。舉例來說，原本企業打算利用燃料驅動后備發電機并以此為設施供電。但當Magliato查閱地圖時，發現燃料運輸車的必經之路正好毗鄰大堤，而當時大堤側畔的水位達到了全市最深。在千頭萬緒的復雜情況下，他和員工開始選擇替代路線，最終確保卡車免于熄火在地勢低洼的路口、成功來到數據中心門口。不久之后，兩輛具備7500加侖載重能力的卡車終于突破重圍，為多變的未來儲備下寶貴的40000加侖燃料。
按照規劃，“洪水終將隨時間退去，所以其間的燃料補充就成了重中之重，”然而大自然根本就沒按套路出牌。“我們不得不即興發揮，在地圖上挑選出一條相對安全的通路，”Magliato不無遺憾地表示。
沿海地區每天都要經歷兩次漲潮過程，而且每一次的時間都不盡相同——通常漲潮持續一個小時，并很快回復到平潮狀態。對于Magliato和他的團隊而言，“這是一次久久不愿退去的漲潮過程。我們一直到周四中午都沒能盼到漲潮結束，”他指出。
就整體而言，災難規劃還是按照預定效果穩步執行，而SunGard公司保護下的基礎設施也沒有造成停機，保障了客戶的正常權益。雖然結果還算差強人意，但卻沒有哪一位敢站出來，聲稱整套規劃已經涵蓋了可能出現的任何挑戰、或者說其中不需要任何即興發揮的情況。正所謂知己知彼才能百戰不殆，希望這次颶風桑迪的肆虐能給每一位管理者帶來啟示。
原文：Hurricane Sandy: Disaster Recovery Improv Tales
【編輯推薦】
