大二層建設網(wǎng)絡扁平化數(shù)據(jù)中心
面對SDN的橫空出世,大二層網(wǎng)絡的聲音似乎淹沒在一片對SDN的討論中。是默默發(fā)展積聚力量,不斷為用戶所采用,還是即將銷聲匿跡,成為技術變革的匆匆過客。大二層網(wǎng)絡的準備工作已經(jīng)完成,技術標準基本完成,各網(wǎng)絡廠商基于標準的產(chǎn)品也已經(jīng)上市一段時間,期間陸續(xù)有互通性的測試。但是,從應用的角度來看,真正使用SPB(Shortest Path Bridging,最短路徑橋接)和TRILL(Transparent Interconnection of lots of links,多鏈路透明互聯(lián))構(gòu)建網(wǎng)絡的案例并不多,并沒有呈現(xiàn)出井噴的態(tài)勢。
SPB已經(jīng)在去年三月份正式通過,而作為IETF協(xié)議族的TRILL,其基礎協(xié)議也已經(jīng)完成,有一些協(xié)議文稿標準化發(fā)布。
由于TRILL網(wǎng)絡中數(shù)據(jù)報文轉(zhuǎn)發(fā)可以實現(xiàn)ECMP和最短路徑,因此采用TRILL組網(wǎng)方式可以極大提高數(shù)據(jù)中心數(shù)據(jù)轉(zhuǎn)發(fā)效率,提高數(shù)據(jù)中心網(wǎng)絡吞吐量。
另外,每個地點需要傳遞3層可達性信息到網(wǎng)絡中的其他站點。最佳做法往往是動態(tài)路由,最好是路由的配置盡可能在目前這種網(wǎng)絡需要大改動的情況下少改動。使得第三個地點數(shù)據(jù)中心B(DCB)相對于最初的主數(shù)據(jù)中心(MDC)地點和數(shù)據(jù)中心A(DCA)地點的網(wǎng)絡而言,能夠把數(shù)據(jù)中心的網(wǎng)絡DCA遷移到DCB。整個SPB交換結(jié)構(gòu)有兩個OSPF 路由的VLAN, 配置用于連接MDC和DCB,每個VLAN在每個數(shù)據(jù)中心核心節(jié)點上均配置IP地址,以及打開交換集群功能。
即使是在未來的網(wǎng)絡擴容中,也可以只是在邊緣位置調(diào)整,而不必再改變網(wǎng)絡核心的設置。SPB 核心功能包含了IS-IS路由、SPB全局設置和連接故障檢查。
在SPB核心上,只需要兩個骨干VLAN,使得IS-IS在有多條等價路徑存在的時候,能夠計算出等價樹,從而把多個VSN的流量進行負載均衡。這就不得不解釋一下IS-IS 協(xié)議,IS-IS 協(xié)議工作在網(wǎng)絡2層,不需要在鏈路上配置IP地址,用二層的地址即可構(gòu)成相鄰關系,這種相鄰關系與OSPF非常類似。在SPB交換機之間,只需要一個 IS-IS連接。由于原有設備節(jié)點已經(jīng)啟用交換集群功能,交換集群內(nèi)部互聯(lián)的鏈路匯聚中繼以及交換集群之間(核心到匯聚,核心到核心)的鏈路將啟用SPB 和IS-IS。連接故障檢查和銜接性檢查是為了提供快速故障探測。
特別是TRILL,支持者眾多,但是使用者寥寥,能夠發(fā)布具體使用案例的更是少之又少。與此相對的卻是一些成熟技術的大量應用,這些技術植根于各廠商各自的產(chǎn)品中,可以很好的實現(xiàn)中小規(guī)模大二層網(wǎng)絡的構(gòu)建。
在具體應用中,SPB也在與其他技術相結(jié)合來使用,以阿爾卡特朗訊為例,“大二層技術的演變一直延續(xù)著當初的設計線路,將SPB與vNP技術結(jié)合,保證虛擬機在整個數(shù)據(jù)中心內(nèi)部無縫遷移,同時保證其安全、QoS和轉(zhuǎn)發(fā)優(yōu)先級在全網(wǎng)的一致性;SPBMS與PBB、VPLS結(jié)合,保證多數(shù)據(jù)中心的互通以及虛擬聚合。”
“大二層技術一直在發(fā)展,最初用戶的需求來源于大規(guī)模虛擬化環(huán)境的需要,來源于數(shù)據(jù)中心橫向流量劇增的需求。但是在實現(xiàn)大二層矩陣的過程中,用戶會發(fā)現(xiàn)網(wǎng)絡自動化越來越重要。”。
SPB是一個純二層網(wǎng)絡,對于分散在不同區(qū)域位置的數(shù)據(jù)中心間的數(shù)據(jù)轉(zhuǎn)發(fā)而言,尚有不足。正在推進的部分則是探討了用EVPN方式來通過BGP來擴展二層。雖然現(xiàn)在支持TRILL和SPB的產(chǎn)品很多,各網(wǎng)絡廠商幾乎都發(fā)布了支持其中之一的產(chǎn)品,也有廠商表示在支持兩個標準。但是從應用情況來看,目前TRILL和SPB的案例并不很多。與討論的熱度相比,應用似乎有一點“雷聲大,雨點小。”我們曾經(jīng)分析了挪威奧斯陸大學國家醫(yī)院在網(wǎng)絡建設中的嘗試。在這個案例中,是通過創(chuàng)建一個通用網(wǎng)絡來把已合并在一起的三家醫(yī)院網(wǎng)絡順利合并起來。具體要求是網(wǎng)絡可以橫跨全部三家醫(yī)院,并且可以支持、分割和傳輸服務。
管理人員也能分享最佳實踐,推廣優(yōu)秀創(chuàng)新,連接不同地點的專家醫(yī)師,讓工作場所更加靈活。同樣是利用基于SPB的Avaya 的VENA架構(gòu),亞洲的用戶也開始部署,在印度的孟買機場以及日本的中部高鐵公司(JR TOKAI)都已經(jīng)或正在實施,“用戶通過VENA的部署可以在統(tǒng)一的物理平臺上同時部署多種跨地域的數(shù)據(jù)中心及城域范圍的應用。”
但應用思科FabricPath技術來組網(wǎng)的應用已經(jīng)出現(xiàn)。FabricPath是TRILL協(xié)議的一個擴展集,可以看作是一個“增強版的TRILL”。在中華電信開始提供HiCloud CaaS(Compute as a Service,計算即服務)服務中,利用OTV 和 FabricPath 技術的聯(lián)合使用,讓HiCloud 群組云數(shù)據(jù)中心真正實現(xiàn)了只有一個單一虛擬云端機房的目標。
我們認為國內(nèi)用戶在大二層的應用還在培育期,目前還沒有殺手級的應用迫使用戶在這方面轉(zhuǎn)型。而未來大規(guī)模高可用數(shù)據(jù)中心的建設、 SDN的出現(xiàn),會使大二層的應用繼續(xù)深入人心。
使用SPB或者TRILL構(gòu)建的網(wǎng)絡與傳統(tǒng)網(wǎng)絡有所不同,而使用這兩種技術的核心層不能做網(wǎng)關設備,疊加的結(jié)果從某種程度上會導致結(jié)構(gòu)復雜,管理難度增加,而運維成本也會上升。另一方面是互通性的問題,盡管現(xiàn)在已經(jīng)進行了幾次廠商間的互通性測試。
國內(nèi)這種超大型數(shù)據(jù)中心的建設本身并沒有太多。而廠商推出的另外一些技術恰巧可以在中型規(guī)模的數(shù)據(jù)中心中構(gòu)建一個大二層的網(wǎng)絡,而這些技術已經(jīng)存在了很多年,雖然在當初出現(xiàn)的時候,并不是為了大二層而來,但是卻可以達到這樣的效果,所以在用戶中有了更廣泛的應用。
實際部署的大量應用的卻是其他的技術。在這個問題上,網(wǎng)絡廠商各有高招,比如:思科有VSS、H3C有IRF技術、博科有VCS網(wǎng)絡架構(gòu)、極進網(wǎng)絡采用跨機箱鏈路捆綁技術、銳捷有VSU技術、神州數(shù)碼網(wǎng)絡有VSF技術、戴爾網(wǎng)絡有VLT技術等等。這些技術有很大的相似性,都可以實現(xiàn)將多臺網(wǎng)絡設備虛擬成一臺網(wǎng)絡設備,并且將這些設備作為單一設備管理和使用。在虛擬化成一臺邏輯設備的同時,網(wǎng)絡各層間的鏈路連接也將變成兩臺邏輯設備間的連接。所不同的是實現(xiàn)多臺虛擬的具體數(shù)量。這樣做的好處是網(wǎng)絡拓撲結(jié)構(gòu)得到簡化,性能得到提升,而管理的工作也可以有效簡化。以H3C的IRF為例,“IRF把多臺設備變成了一臺設備,具有統(tǒng)一的管理、統(tǒng)一的轉(zhuǎn)發(fā)表,沒有環(huán)路,也不需要雙機熱備。所以IRF能簡化網(wǎng)絡架構(gòu)的設計。”
在幾百到幾千臺服務器規(guī)模的數(shù)據(jù)中心中,這類技術得到了廣泛的應用。神州數(shù)碼網(wǎng)絡(DCN)在政府林業(yè)數(shù)據(jù)中心和教育行業(yè)省級遠程教育平臺的數(shù)據(jù)中心都應用了VSF來組建網(wǎng)絡。往往用戶在構(gòu)建新一代數(shù)據(jù)中心時會使用多種技術來配合。在政府林業(yè)數(shù)據(jù)中心中,核心虛擬化轉(zhuǎn)發(fā)與ToR接入、SAN自動化融合三者聯(lián)合實現(xiàn)了數(shù)據(jù)中心網(wǎng)絡的升級。不僅用在突破了傳統(tǒng)網(wǎng)絡結(jié)構(gòu)中單臺核心設備的性能及端口密度限制以及核心設備實現(xiàn)跨設備的鏈路聚合的需求。
另外一個互聯(lián)網(wǎng)的案例是來自中國,是社會化搜索引擎的云云網(wǎng)。這個網(wǎng)站每日用戶訪問量達到1億人次,數(shù)據(jù)搜索業(yè)務服務量突破10億次。在網(wǎng)絡建設上,采用了戴爾分布式的網(wǎng)絡平臺的做法。具體來說,首先,云云網(wǎng)使用了2臺交換機作為網(wǎng)絡核心層交換機,該交換機通過16對10GB光纖線纜與另外1臺交換機相連,形成一個160GB的數(shù)據(jù)通路,為數(shù)據(jù)庫群集提供網(wǎng)絡服務;同時核心層交換機通過16對10GB光纖線纜與另外2臺交換機相連,為應用群集提供數(shù)據(jù)交換服務。“這是利用Z9000建立分布式-核心架構(gòu),替代傳統(tǒng)的大機框設計的一種成功的創(chuàng)新應用,節(jié)省大量的機架空間、能耗和總擁有成本。”在比較早應用40G網(wǎng)絡的國內(nèi)某石油物探研究院高性能計算網(wǎng)絡,最近又有了新的升級,核心層采用的極進網(wǎng)絡BD X8,用跨機箱鏈路捆綁技術互聯(lián),采用了存儲云的設計,“網(wǎng)絡整體采用大二層改造后,存儲節(jié)點和計算節(jié)點之間,由過去的多次轉(zhuǎn)發(fā)簡化為單次轉(zhuǎn)發(fā),最大的縮短了存儲和計算節(jié)點之間的時延,提高工作效率,節(jié)省計算和數(shù)據(jù)傳輸?shù)臅r間。”
雖然QFabric在全球部署并不多,但是在那之前的虛擬機箱技術其實已經(jīng)非常成熟并且開始多處使用了。優(yōu)酷網(wǎng)就是一個典型案例。具體而言,優(yōu)酷網(wǎng)網(wǎng)絡分為了內(nèi)網(wǎng)OA和外網(wǎng)兩個部分,內(nèi)網(wǎng)OA有內(nèi)部數(shù)據(jù)同步等需求,網(wǎng)絡主要需求是在設備的端口數(shù)量和服務質(zhì)量;在外網(wǎng)的需求則主要是互聯(lián)。其網(wǎng)絡中采用了跨交換機的VLAN架構(gòu),因此需要在接入層到匯聚層之間采用二層方式互聯(lián)。接入層交換機分兩組實現(xiàn)到匯聚層的上聯(lián),3臺匯聚層交換機構(gòu)成虛擬機箱,實現(xiàn)到接入層的多個接口互聯(lián)。此外,接口密度、系統(tǒng)冗余度等虛擬機箱的特點也滿足了用戶需求。
如果新技術和原有技術是替代關系的話,那么對原有技術而言,新技術也可以稱之為敵人。但是,對大二層而言,與SDN的關系卻是一種又“愛”又“恨”,非常復雜。SDN的出現(xiàn)搶了大二層的風頭,但其實質(zhì)卻并非如此簡單。
“SDN可以實現(xiàn)大二層的功能,但是SDN本身的演進和推廣面臨的挑戰(zhàn)更大。”而蔣波也認為,大二層是SDN的基礎,他解釋說:“SDN的初始網(wǎng)絡通路,要求各網(wǎng)絡設備節(jié)點與控制器之間有 TCP上的連通,OpenFlow 等管理和控制協(xié)議才能在這條通道上傳輸應用,控制器才可能將有各種靈活的轉(zhuǎn)發(fā)流表下發(fā)到網(wǎng)絡節(jié)點上。而這個初始的網(wǎng)絡通路,如果是要通過三層路由才可達,那就反而增加了這條通路建立的復雜度以及設計成本,與 SDN原意不符合。”沈之千認為,大二層和SDN是互補的技術。SDN通過網(wǎng)絡可編程化將傳統(tǒng)網(wǎng)絡的控制部分脫離出來,其核心在于軟件化網(wǎng)絡部署,自主化網(wǎng)絡數(shù)據(jù)轉(zhuǎn)發(fā)和實現(xiàn)用戶創(chuàng)新的網(wǎng)絡模型。但是SDN依賴的網(wǎng)絡基礎架構(gòu)并非是一個結(jié)構(gòu)復雜、路徑阻斷、網(wǎng)絡隔離的傳統(tǒng)架構(gòu),而是需要能夠在底層實現(xiàn)簡化架構(gòu)、實現(xiàn)自我隔離、自我收斂和自我擴展的矩陣架構(gòu)。



















