【51CTO.com獨家特稿】任何一個有點規模的網絡，運行時間長了，總會不可避免地碰到一些網絡故障；對于許多網絡故障來說，我們往往只要根據具體的故障現象，就能大概判斷出故障發生的原因，并能迅速解決掉網絡故障！但也有一些網絡故障由“冷門”因素引起，這些“冷門”因素由于很少出現，我們在排除這類故障的時候往往容易忽略它們，從而容易多走彎路，影響網絡故障的排除效率。這不，本文下面介紹的一則網絡故障，竟然是由于交換機自身環路引起的，鑒于該故障出現的機率較小，現在本文就將它的排除過程還原出來，與大家共享交流！

遭遇網絡癱瘓

某行政大樓組網規模比較大，核心交換機通過千兆光纖線路到樓層，樓層交換機再通過100M網絡線纜到普通計算機，網絡管理員在交換機上將不同的單位劃分到不同的VLAN中，這樣一來就能有效抑制網絡風暴的爆發。今天早上剛剛上班，網絡管理員就接到信訪局的某位員工的電話，說他的計算機不能正常上網；到了辦公室，網絡管理員發現自己桌上的辦公電話已經被打爆，查看電話號碼，發現都是來自信訪局的，果然沒有多長時間，信訪局的一位工作人員再次電話告訴網絡管理員，他們單位幾乎所有計算機都不能正常上網了，看來信訪局所在的VLAN中出現了大面積癱瘓現象。

查看行政大樓網絡的拓撲結構，網絡管理員發現信訪局單位并不在大樓內，而是位于行政大樓西側100米左右的獨立小樓中，該單位中的所有計算機都通過100M網絡線纜連接到Quidway S3050交換機上，該交換機又通過寬帶光纖連接到大樓核心交換機上的GigabitEthernet4/1/14光纖端口上。既然信訪局單位網絡中出現了大面積網絡癱瘓現象，會不會是行政大樓內部的核心交換機或連接信訪局的樓層交換機發生了故障呢？為了判斷大樓網絡連接狀態是否正常，網絡管理員立即打開自己的計算機，使用ping命令測試了大樓核心交換機IP地址的連通狀態，測試結果表面核心交換機后臺系統響應速度正常，之后再嘗試上網訪問Internet網絡時，上網訪問不但正常，而且連接速度也比較快，這說明網絡管理員所在的工作子網工作狀態是正常的，核心交換機的工作狀態也是正常的。考慮到目前除了信訪局單位員工在不停上報網絡故障外，其他單位還沒有故障報修電話打過來，這說明行政大樓內的其他單位工作狀態也是正常的。

在排除了行政大樓核心交換機發生故障的可能外，網絡管理員估計信訪局所在的虛擬工作子網工作狀態不正常。于是，他立即又嘗試對連接信訪局單位的Quidway S3050交換機地址進行ping測試操作，測試發現該地址無法正常ping通，很明顯信訪局與行政大樓之間的網絡不能正常互聯，這也是信訪局單位網絡出現大面積癱瘓現象的原因！

深究故障原因

究竟是什么因素造成了行政大樓網絡與信訪局單位網絡之間不能正常互聯呢？會不會是連接信訪局單位網絡的那個核心交換端口存在問題呢？為了驗證這一點，網絡管理員進入核心交換機后臺系統，執行“display interface GigabitEthernet4/1/14”字符串命令，查看對應光纖交換端口的狀態信息，發現該端口的工作狀態已經變成了“down”，這說明信訪局單位網絡中的樓層交換機與核心交換機之間不能正常通信了，那會不會是連接這兩個網絡的光纖線路發生了斷路呢？立即找來寬帶運營商的服務人員，請求他們幫忙測試一下寬帶線路的連通狀態，經過反復測試，寬帶運營商的服務人員證實寬帶光纖線路沒有任何問題，這說明信訪局單位網絡大面積癱瘓故障與寬帶光纖線路的連通性沒有任何關系。

既然核心交換機的工作狀態正常，寬帶光纖線路的連通性也是好的，那問題看來只能出在信訪局單位網絡內部了。不得已，網絡管理員只好趕到信訪局單位網絡，任意選擇了一臺工作站，打開對應系統的運行對話框，在其中執行ping命令，測試該網絡樓層交換機的IP地址，結果發現目標地址不能正常ping通，連續在幾臺工作站系統中進行了相同的測試，***得到的測試結果都是相同的。會不會是局域網信訪局單位網絡中存在病毒現象呢？考慮到最近ARP病毒瘋狂肆虐，由該病毒引起的網絡故障表現出來的現象往往也是大面積不能上網，難道真的是ARP病毒造成了上述故障現象？為了檢查該虛擬工作子網中是否真的存在ARP病毒，網絡管理員在其中一臺工作站系統中，隨意更改了它的IP地址，重新啟動之后，再次ping了一下對應虛擬工作子網的網關地址，可是這一次仍然無法ping通網關地址，按理來說如果局域網感染了ARP病毒，更新一個IP地址之后，我們應該能夠暫時ping通網關地址才對呀，難道局域網中沒有感染ARP病毒？為了進行進一步判斷，網絡管理員來到對應虛擬工作子網的樓層交換機現場，通過Console控制線纜連接到該交換機后臺系統，進入該系統的全局配置狀態，執行字符串命令“dis logb”，從其后返回的結果界面中（如圖1所示），網絡管理員并沒有看到對應虛擬工作子網中存在由ARP病毒引起的IP地址沖突現象，這就證明信訪局單位網絡中并不存在ARP病毒。

圖1

在排除了ARP病毒因素后，網絡管理員開始懷疑信訪局單位網絡中的樓層交換機工作狀態不正常，于是進入該交換機的級聯光纖端口配置狀態，執行字符串命令“dis dia”，查看該交換機的狀態信息，結果發現級聯光纖端口的輸入數據流量、輸出數據流量特別大，與正常工作狀態時的數據流量明顯相差甚遠，怪不得行政大樓核心交換機上的GigabitEthernet4/1/14光纖端口處于“down”狀態，原來是受到這么大的數據容量不停沖擊造成的，那究竟是什么因素造成了該樓層交換機上的數據流量這么大呢？一般來說，造成交換機數據流量異常現象的因素主要有網絡病毒、網絡環路、硬件損壞、惡意下載這幾個，而其中以網絡環路因素出現頻率***，如此說來難道信訪局單位網絡中存在網絡環路？為了尋找出究竟哪個交換端口下面存在網絡環路現象，網絡管理員在通過Console控制線纜連接到該樓層交換機后臺系統后，又使用網絡線纜依次連接到各個交換端口，在各個交換端口視圖狀態下，依次使用ping命令測試交換機的IP地址，測試結果發現每一個交換端口都能正常ping到本地網關地址，而且查看每一個交換端口的狀態信息時，發現它們的數據流量大小都很正常（如圖2所示），這也就是說該樓層交換機下面不存在網絡環路現象。

圖2

萬般無奈之下，網絡管理員打算先重新啟動一下該樓層交換機設備，說不定該設備存在的一些軟性故障可能會自動消除；想到做到，網絡管理員先是斷開了目標交換機的電源輸入，之后讓該設備“休息”了半個小時左右，再次接通該設備的電源進行重新啟動，等到重新啟動成功后，網絡管理員發現從普通工作站ping該樓層交換機的IP地址，仍然還不能成功，這就意味著重新啟動交換機系統，并沒有解決上述故障現象。

驚現內部環路

想盡一切辦法都不能解決問題后，網絡管理員打算采用最“笨”的辦法，那就是將信訪局樓層交換機上的所有連接線纜全部拔下來，之后每連接上一根網絡線纜后，就觀察目標交換機的工作狀態變化，看看究竟是哪個交換端口在暗中搗亂。然而讓人感到十分意外的是，當將目標交換機的所有連接線纜全部拔下來后，網絡管理員卻發現對應交換機的控制面板上竟然還有信號燈在閃爍，這是怎么回事呢？按理來說，斷開所有網絡連接之后，交換機上的所有端口信號燈都應該不閃爍才對呀，現在竟然仍然有端口在閃爍，說明對應端口仍然有數據信號存在，難道交換機內部仍然有數據流量產生？為了驗證這種想法，網絡管理員再次使用“display interface”命令查看目標交換機級聯端口的流量狀態，結果發現在沒有任何網絡連接的情況下，目標交換機的輸入、輸出流量仍然很大，看來該樓層交換機內部存在網絡環路現象，這種現象直接導致了目標交換機的數據流量居高不下，如此一來就會影響信訪局單位所有員工的正常上網。

根據上述發現，網絡管理員推斷位于信訪局的樓層交換機可能出現了問題，于是嘗試著使用工作狀態正常的交換機進行替換時，發現信訪局單位網絡立即恢復了正常，這就意味著上述故障現象的確是由于目標樓層交換機內部環路引起的。

問題總結回顧

問題雖然解決了，但是讓網絡管理員很難理解的是，位于信訪局的樓層交換機為什么會出現這種問題呢，而位于行政大樓網絡內的樓層交換機工作狀態卻一直正常呢，這些設備都是在同一時間購買的呀，難道是信訪局的樓層交換機質量稍微差一些？經過仔細分析以及上網查閱相關資料，網絡管理員認為由交換機質量引起故障的可能性比較小，畢竟該設備與大樓內的交換機設備都是同一型號、同一批次的產品，而且它們持續工作的時間并不長。考慮到行政大樓內的網絡設備都有良好的防雷保護措施，而信訪局沒有進行這方面的安全保護，網絡管理員估計很可能是信訪局的樓層交換機因頻繁遭遇雷電轟擊，交換機內部的芯片或電路被雷電擊穿，最終引發了交換機出現內部環路的現象!

【51CTO.com獨家特稿，非經授權請勿轉載。合作站點轉載請注明原文作者和出處為51CTO.com，且不得修改原文內容。】