2016年12月20-22日，第十一屆中國IDC產業年度大典隆重召開，阿里巴巴、萬國數據、XDC+(江蘇恒云太)分別就數據中心建設實踐經驗進行分享，下面就一起來看看他們是如何造就高逼格數據中心的：

[[180958]]

阿里巴巴

[[180959]]

如今，互聯網數據中心的主要特點包括規模大、變化快、高帶寬、高功率、高成本、高可靠性，那么根據這些特點又該如何來建設數據中心呢?

一、數據中心規模大：

近年來，隨著互聯網的快速發展，尤其是移動互聯網的興起，推動了互聯網數據中心規模和數量都在增加，加之互聯網集中度高，"二八"效應非常明顯，更促進了數據中心規模大這一特點。那么大規模數據中心該如何選擇、設計及運營呢?

數據中心選址：

單個點占用資源越來越多，選址越來越難選，符合條件的非常少;怎么辦?現在國內，北京已經在關注能耗，數據中心PUE要求1.5以下才能批準。在國內其他城市，更多的是靠自律。我們認為數據中心選址應盡可能少的占用資源，這是非常重要，如果我們不減少資源的占用，對于以后可持續發展是非常不利的。

數據中心設計：

數據中心架構設計合理非常關鍵，方案設計精細化也很重要，任何不恰當的設計都會導致巨大代價。例如阿里張北數據中心，采用新風和冷凍水系統，在張北這個地方其實是比較合適的，因為當地水資源比較緊張。

數據中心運營：

數據中心規模大之后，這么大的增量和存量靠人肉肯定不行，自動化、大數據運營、人工智能等等都很必要。

二、數據中心變化快：

現在這個時代，互聯網時代一個產品或業務的"存亡"和"爆發"都會在非常短的時間內發生，用傳統的響應方式已經不能適應互聯網的需要。

• IDC快速新建，快速擴容，按需建設非常重要;
• 做到單元化、標準化和個性化、按需定制化會并存;
• 按照周期分解建設內容，實現建設速度、建設成本和匹配需求的最佳結合;
• 對于規模應用，整機架是非常好的選擇;

三、數據中心高可靠：

互聯網已經涉及到民生，對于可靠性的要求不斷提高，互聯網數據中心的地位應當足夠重視。比如支付寶"5.27"、AWS的雷擊、微信的斷網等等影響都非常巨大。從技術來看，主要有三方面要求：供電、制冷、網絡。

• 供電系統：分布式供電減少影響面;加強柴發配置，減少外部依賴;
• 制冷系統：采用不間斷制冷技術及高可靠性的自控系統;
• 網絡系統：網絡包括內部和外部，內部雙上聯/多上聯;外部連接多路由;

四、數據中心高功率：

看過很多數據中心，大規模的建設都是16A、20A，這種更多考慮可能是建設的時候，利潤率更高一點，或者是針對中小用戶。真正從用戶端來看，從互聯網大規模來看，性價比一定是非常低的，我們現在選擇高功率密度的機器一定是更劃算的。

五、數據中心高帶寬：

在云計算和大數據的推動下，網絡發展速度非常快，東西流量翻倍，南北流量持續增加，短時間實現了百兆，千兆，10G，25G的跨越;用戶需求和流量推動網絡架構不斷演進，未來會怎么樣?

國外互聯網巨頭紛紛開啟自建傳輸和光纜，很可能成為未來趨勢，他們已經建海底光纜了，像谷歌和亞馬遜，包括澳洲、歐洲和亞洲之間的互聯。

六、數據中心高成本：

狹義的數據中心，建設成本一般2~4萬元/KW-IT，廣義的數據中心全壽命周期成本是其10倍以上，那么該如何降低成本：

• 最有效的方式是利用率提升(比如云計算、離線在線混部、 服務器負荷率、 機柜負荷率);
• 硬件性能提升，降低數據中心PUE，技術優化降低冗余等等也是重要方法之一;
• 只盯著PUE一個指標往往走向誤區，比如單純的提升溫度或降低數據中心冗余，這種絕對是得不償失的。

數據中心其實就是互聯網，快速變化的互聯網撞上了科技密集的IT業與傳統的機電行業，我們做的很多東西不一定是對的。我們在不斷地摸索，經常做很多決策，不一定讓大家都能夠理解得了，但是我們仍然會在不斷的糾結中，找到平衡點。沿用阿里的話"夢想還是要有的".

萬國數據

[[180960]]

會上，萬國數據高級副總裁陳怡琳重點解讀了高性能數據中心。因為客戶的需求，因為需求的增長，因為需求的差異性，因為政府的一些指導的原則，也因為競爭的環境，也就出現了談到的高性能數據中心，談到高性能數據中心該如何建設?

一、高性能數據中心有五個特點：

• 高等級：高等級有一個特色，今天客戶在每一個數據中心里尋找擴展，不僅在當地，還在一個城市里尋找2到3個點的擴展，除此以外在不同城市之間尋找擴展。這就形成了數據中心集群的要求。對于高等級的要求也是有一些規格認證的要求。比如說有ISO的要求、TRA的要求、UPtime的要求，都形成一系列的高等級的定義。
• 高密度：目前為止8000瓦變成很常見的規模，未來10到12千瓦也是很常見的需求。這對數據中心的運營和能耗都帶來了一定的改變，由此在進行定制化和模塊化。
• 高能效：阿里千島湖的數據中心年平均的密度是1.3，也是為行業樹立了標桿，我們也有很多的技術手段、運營手段來實現。對于數據中心在暖通方面就提出了挑戰。更宏觀的是數據中心的選址，包括對國家電力的政策都有很大的依賴性。
• 模塊化與定制化：今天運行的數據中心規格在變化，除了從單機柜到樓宇的交付不一樣，有很多產品規格的要求，比如一路高壓直流、微模塊，對制冷和電力提出了一系列設計的要求。

二、數據中心全生命周期的覆蓋和改革：

• 數據中心選址：選址非常重要也非常復雜，50%的數據中心在一線城市，為什么?是因為這里有很多客戶的應用，比如滴滴打車2秒鐘就要給出反饋，你的反應必須要非常快。這就影響到客戶使用的體驗和網絡的部署。今天中國電力的穩定性和人才的問題導致你不得不選擇在一線城市。
• 數據中心設計：更多的談一談可靠性和性價比的平衡。數據中心有一個造價的理念，我們的每一個造價師要盡量的把成本用足，但還要平衡可靠性的因素，平衡將來發展的因素，平衡將來技術革新的因素。
• 數據中心建設：一個改造的數據中心5、6個月可以完成，從土建開始12個月左右。跑工地你會發現中國基建的環境差異性非常大，所以建設第一點談的就是質量控制 ，這是跟整個行業的素質有關的。二是變更管理。造的過程中需求會不斷的變化，設備已經買好了但是需求發生了變化，怎么平衡好。三是成本的管控。
• 數據中心測試驗收：涉及到設備的場驗，現場的場驗，涉及到設備安裝以后單機的調試，也涉及到所有系統安裝好以后聯機的調試。這些環節可以幫助我們把控好質量的環節，確保數據中心投放的時候是一個安全有保障的數據中心。
• 數據中心運維：運維平臺涉及到內部的管理，涉及到給客戶提供的服務。無論是從流程還是技術方面以及人員方面都在非常緊密的耦合，在不斷的優化調整，形成了我們非常強的核心競爭力。

數據中心并不是冷冰冰的，最后是以服務的形式提供給客戶和合作伙伴。

XDC+(江蘇恒云太)

[[180961]]

從建設的階段去做一個高可靠的數據中心。數據中心的可靠性，從我們的理解來說分幾塊：物理可靠性;電力可靠性;暖通可靠性;控制可靠性。

一、物理可靠性：

• 通過將數據中心的物流、人流進行分離，通過分離人與物進入數據中心路徑，保證了整體的運營安全;
• 在物理結構上，實施全路徑物理隔離，從電纜到管道保證無交錯點，并用混凝土墻進行隔離;
• 在數據中心建設上做到了全方位防入侵，從交通流的組織上面做到全面的防入侵，在將整個樓的外部墻體結構加固為防爆墻;
• 通過對外來人員進行全路徑監控，并通過自主研發的分析系統進行解析，分析數據中心是否存在危險，在通過其與報警系統聯動，將分析結果通知數據中心運營人員。

二、電力可靠性：

• 市電接入，數據中心的電力主體為10KV母線，并為其設置了兩個母聯開關，將其分為紅色跟藍色，放置于不同的房間內，保證單獨電力維護不會影響到整體數據中心的電力設施，保障了整體的安全可靠性。
• 柴油發電機，在數據中心柴發方面，采用N+1或者N+2的形式，通過兩段母線進行引入，保障數據中心電力的高可靠性;
• UPS，在數據中心電力運維方面，整個數據中心采用統一的UPS，以保障任何一臺UPS出現故障，都會有備件的UPS來支撐數據中心業務連續性，并為每組數據中心機房模塊配備獨立的2NUPS，以保障電力設施的可靠性;在整個系統架構來說，通過使用傳統的2NUPS代替高壓直流技術，并用兩組獨立的2N UPS代載冷通道。

三、暖通可靠性：

• 受墻體結構和樓房內部建筑的影響，局部熱點是數據中心建設的重要問題，為了保障數據中心暖氣流通性，將數據中心空間設置為無柱結構，并將頂板降低一米，保障物流和人流通道氣流順暢平穩;
• 在末端采用2N結構空調;
• 在管路上設計為單側環網模式;
• 在數據中心制冷設計方面，采用四冷凍站結構，實現各模塊數據中心之間冷凍站的共用，提高了制冷系統的運行效率;
• 數據中心冷凍站管理方面采用DCS控制系統，冷機的控制跟冷泵的控制采用了獨立控制系統，將四個冷凍站進行環狀連接，單體的冷凍站可為任意末端供水，提高了數據中心制冷系統的運行效率;
• 采用數據中心獨特的補水系統，通過過濾使水質達到飲用級標準;
• 在排水系統方面，為管道做全路徑漏水檢測，并將其記錄在XDC控制系統，與報警系統互聯，及時發現問題，為機房模塊設置了多環路冗余排水系統。

四、控制可靠性：

• 控制系統分為采集系統和高頻率的采集，傳統的采集系統將所有的數據上傳至PLC，統一存儲、查找與管理，高頻率的采集是將重要數據著重采集，并將數據獨立存儲，數據不再存儲在原來工業的數據庫里，而是存在MYsql的數據系統里;
• 在配電側采用全冗余的控制器，并擁有國家認證的IC61850標準，二次泵上采用獨立的冗余器，并為數據中心做了獨立的分析系統，從整體的配電系統上的儀表、脫口到暖通設備的傳感器，統一對數據中心進行了全系統的波形捕捉，所有儀表支持每波63次采集的頻率，收集的數據統一存儲近HadOOP里，加強了配電系統數據的安全性;
• 決策系統基于在整個配電系統之上的，決策系統會基于多個數據中心的數據分析進行決策，將所有數據中心控制系統統一管路，實現了全遠程的控制;
• 其次將數據中心所有的系統做到了標準化，每個數據中心軟件是恒定的，每當總控制系統進行軟件升級的時候，對它控制邏輯進行升級的時候，會同步升級到每一個數據中心的控制系統，來保障整體系統的軟件版本始終是統一的。

五、網絡可靠性：

1. 在每個數據中心都去架設波分設備，而且做到了80×100G波分的技術，以完成數據中心建設免費的互聯;
2. 另外通過一些高性能的路由設備，實現全網帶寬超過1.5TB的能力。通過國內運營商，以及國際運營商，建立超過20個TB帶寬，來保障整體的電路可靠性。

以上整理，部分演講內容有刪減!