【51CTO.com獨(dú)家特稿】局域網(wǎng)中比較重要的網(wǎng)絡(luò)設(shè)備是交換機(jī)，它的性能好壞直接影響著網(wǎng)絡(luò)運(yùn)行的穩(wěn)定性。可是，在長(zhǎng)時(shí)間工作之后，交換機(jī)很容易發(fā)生損壞，這么一來(lái)局域網(wǎng)的工作狀態(tài)就會(huì)受到影響；由于交換機(jī)平時(shí)發(fā)生故障的機(jī)率比較小，一旦發(fā)生故障造成上網(wǎng)不正常現(xiàn)象時(shí)，故障排查起來(lái)就很容易多走彎路。本文下面的一則故障就是由于交換機(jī)端口短路引起的，網(wǎng)管由于對(duì)該細(xì)節(jié)因素沒有加以重視，結(jié)果費(fèi)了好大精力才將故障成功排除。

故障現(xiàn)象

某單位局域網(wǎng)規(guī)模適中，大約有100臺(tái)左右的普通客戶機(jī)分布在四層樓中，每個(gè)樓層中的所有客戶端系統(tǒng)都通過超五類網(wǎng)絡(luò)線纜，連接到H3C S3050型號(hào)的樓層交換機(jī)中，各個(gè)樓層交換機(jī)又通過1000M光纖線纜與單位局域網(wǎng)的核心交換機(jī)相連，整個(gè)局域網(wǎng)通過硬件防火墻與外網(wǎng)保持連接，平時(shí)所有客戶端系統(tǒng)都能正常訪問外網(wǎng)；為了保證局域網(wǎng)的運(yùn)行安全性，網(wǎng)管特地將每一個(gè)樓層中的計(jì)算機(jī)劃分到同一個(gè)虛擬工作子網(wǎng)中，各個(gè)虛擬工作子網(wǎng)相互之間是不能訪問的。最近不知道什么原因，局域網(wǎng)中有一部分客戶端系統(tǒng)上網(wǎng)突然不正常，具體現(xiàn)象表現(xiàn)為上網(wǎng)速度非常緩慢，并且時(shí)常會(huì)發(fā)生一會(huì)兒能上網(wǎng)、一會(huì)兒不能上網(wǎng)的奇怪故障；經(jīng)過網(wǎng)管現(xiàn)場(chǎng)勘察，發(fā)現(xiàn)這些上網(wǎng)不正常的客戶端系統(tǒng)幾乎都位于同一個(gè)樓層，而另外樓層中的普通客戶端系統(tǒng)卻能夠正常上網(wǎng)。

排查過程

1、查看物理連接

由于故障現(xiàn)象僅僅局限于同一個(gè)樓層，并且這種現(xiàn)象與網(wǎng)絡(luò)接觸不良十分相似，網(wǎng)管下意識(shí)地認(rèn)為對(duì)應(yīng)樓層中的交換機(jī)與局域網(wǎng)的核心交換機(jī)之間，可能存在物理連接不牢靠的現(xiàn)象。于是，網(wǎng)管立即將連接故障交換機(jī)與核心交換機(jī)之間的網(wǎng)絡(luò)線纜拔下來(lái)，并使用專業(yè)的線纜測(cè)試儀測(cè)試了線纜的連通性，發(fā)現(xiàn)物理線纜不存在問題，之后將網(wǎng)絡(luò)線纜兩端重新插入到交換端口中，并確保水晶頭與交換端口之間接觸牢靠。不過，當(dāng)網(wǎng)管在任意一臺(tái)客戶端系統(tǒng)中，嘗試使用ping命令測(cè)試局域網(wǎng)網(wǎng)關(guān)地址時(shí)，發(fā)現(xiàn)測(cè)試效果還是不穩(wěn)定，同時(shí)數(shù)據(jù)丟包也比較嚴(yán)重，顯然物理連接并不是故障原因。
　
2、查看ARP病毒

考慮到客戶端系統(tǒng)使用的IP地址與樓層交換機(jī)使用的IP地址，位于相同的工作網(wǎng)段中，再加上最近的ARP病毒非常流行，為此網(wǎng)管開始懷疑對(duì)應(yīng)樓層工作子網(wǎng)中存在ARP病毒；由于故障計(jì)算機(jī)所在的工作子網(wǎng)中包含有幾十臺(tái)上網(wǎng)主機(jī)，如何快速判斷ARP毒源的位置，并將帶毒客戶端系統(tǒng)從虛擬工作子網(wǎng)中隔離開來(lái)，保證其他客戶端系統(tǒng)安全、穩(wěn)定上網(wǎng)，就成為了網(wǎng)管的當(dāng)下之急。

盡管手頭沒有ARP病毒監(jiān)控工具，網(wǎng)管經(jīng)過查看局域網(wǎng)的拓?fù)鋱D資料，發(fā)現(xiàn)每個(gè)樓層交換機(jī)都支持網(wǎng)絡(luò)管理，同時(shí)它們都啟用了日志記憶功能，這個(gè)功能會(huì)對(duì)該交換機(jī)下面由ARP病毒引起的地址沖突現(xiàn)象進(jìn)行跟蹤記錄。基于這一點(diǎn)，網(wǎng)管準(zhǔn)備登錄進(jìn)入故障交換機(jī)后臺(tái)系統(tǒng)，查看一下系統(tǒng)的日志記錄，看看有沒有相關(guān)的地址沖突信息；想到做到，網(wǎng)管立即通過console控制端口，登錄到故障交換機(jī)后臺(tái)管理系統(tǒng)，在該系統(tǒng)的全局配置模式下執(zhí)行“display logbuf”命令，從彈出的結(jié)果界面中，網(wǎng)管并沒有找到由ARP病毒引起的地址沖突記錄，這說(shuō)明對(duì)應(yīng)虛擬工作子網(wǎng)中沒有ARP病毒。

3、查看廣播風(fēng)暴

既然故障工作子網(wǎng)中沒有ARP病毒，同時(shí)樓層交換機(jī)與核心交換機(jī)之間的物理連接也是正常的，那么局域網(wǎng)中可能存在廣播風(fēng)暴現(xiàn)象，該現(xiàn)象造成了網(wǎng)絡(luò)傳輸通道發(fā)生了堵塞，這樣一來(lái)故障工作子網(wǎng)中的客戶端系統(tǒng)在上網(wǎng)訪問時(shí)，就會(huì)出現(xiàn)上網(wǎng)速度緩慢或者一會(huì)兒能上網(wǎng)、一會(huì)兒不能上網(wǎng)的奇怪故障了。為了確認(rèn)對(duì)應(yīng)虛擬工作子網(wǎng)中是否存在廣播風(fēng)暴現(xiàn)象，網(wǎng)管進(jìn)入局域網(wǎng)的核心交換機(jī)后臺(tái)系統(tǒng)，使用interface命令進(jìn)入故障樓層交換機(jī)與核心交換機(jī)的級(jí)聯(lián)端口，執(zhí)行“display interface xxx”命令，來(lái)查看指定級(jí)聯(lián)端口的工作狀態(tài)；結(jié)果發(fā)現(xiàn)該級(jí)聯(lián)端口的工作狀態(tài)有時(shí)為“up”狀態(tài)，有時(shí)為“down”狀態(tài)；更為奇怪的是，該級(jí)聯(lián)端口的輸入數(shù)據(jù)包與輸出數(shù)據(jù)包大小明顯不正常，數(shù)據(jù)流量比平時(shí)大了十多倍，為什么故障工作子網(wǎng)中的數(shù)據(jù)流量突然變得這么大呢？難道對(duì)應(yīng)虛擬工作子網(wǎng)中存在惡意BT下載現(xiàn)象？可是，當(dāng)網(wǎng)管反復(fù)執(zhí)行“display interface xxx”命令時(shí)，發(fā)現(xiàn)該端口的廣播數(shù)據(jù)包流量在不斷地變大，顯然該端口下面的虛擬工作子網(wǎng)中存在廣播風(fēng)暴現(xiàn)象。

4、查看端口環(huán)路

在弄清楚故障虛擬工作子網(wǎng)中存在廣播風(fēng)暴現(xiàn)象后，接下來(lái)的工作就是尋找造成廣播風(fēng)暴現(xiàn)象的具體“禍?zhǔn)?rdquo;。考慮到造成廣播風(fēng)暴現(xiàn)象的因素比較多，例如網(wǎng)絡(luò)設(shè)備損壞，網(wǎng)絡(luò)連接形成環(huán)路、網(wǎng)絡(luò)病毒等等，不過最常見的因素往往都是用戶操作不小心，無(wú)意中在虛擬工作子網(wǎng)中形成了網(wǎng)絡(luò)環(huán)路。

考慮到局域網(wǎng)中的交換機(jī)都啟用了網(wǎng)絡(luò)環(huán)路測(cè)試功能，為了排除網(wǎng)絡(luò)環(huán)路因素，網(wǎng)管立即進(jìn)入故障樓層交換機(jī)后臺(tái)系統(tǒng)，在該系統(tǒng)命令行狀態(tài)下執(zhí)行“display logbuf”命令，查看交換機(jī)的日志記錄，發(fā)現(xiàn)日志記錄明確表明8號(hào)交換端口存在網(wǎng)絡(luò)環(huán)路現(xiàn)象。趕到故障交換機(jī)現(xiàn)場(chǎng)時(shí)，網(wǎng)管發(fā)現(xiàn)8號(hào)交換端口信號(hào)燈處于閃亮狀態(tài)，這說(shuō)明該端口正處于工作狀態(tài)；當(dāng)嘗試拔出連接到該交換端口上的網(wǎng)絡(luò)線纜時(shí)，網(wǎng)管感到非常意外，在斷開網(wǎng)絡(luò)連接的情況下，該交換端口竟然還處于閃亮狀態(tài)，這是怎么回事呢？難道是該交換端口發(fā)生了硬件損壞？

故障解決

既然該交換端口存在網(wǎng)絡(luò)環(huán)路，網(wǎng)管決定先將該交換端口關(guān)閉掉，看看對(duì)應(yīng)交換機(jī)所在的工作子網(wǎng)狀態(tài)是否恢復(fù)正常。說(shuō)到做到，網(wǎng)管立即登錄進(jìn)入故障交換機(jī)后臺(tái)系統(tǒng)，執(zhí)行“interface e0/8”命令，進(jìn)入e0/8交換端口的視圖模式狀態(tài)，在該狀態(tài)下繼續(xù)執(zhí)行字符串命令“shutdown”，將e0/8交換端口的工作狀態(tài)關(guān)閉掉。

之后，網(wǎng)管嘗試著在故障客戶端系統(tǒng)，執(zhí)行ping命令，測(cè)試對(duì)應(yīng)虛擬工作子網(wǎng)的網(wǎng)關(guān)地址，結(jié)果發(fā)現(xiàn)ping命令測(cè)試操作正常，難道故障客戶端系統(tǒng)現(xiàn)在能正常上網(wǎng)了？再進(jìn)行上網(wǎng)測(cè)試時(shí)，網(wǎng)管看到先前發(fā)生的上網(wǎng)速度緩慢，一會(huì)兒能上網(wǎng)、一會(huì)兒不能上網(wǎng)的奇怪故障已經(jīng)消失了，顯然網(wǎng)絡(luò)故障已經(jīng)得到了成功解決。

故障反思

雖然上面的故障現(xiàn)象已經(jīng)消失了，但是讓網(wǎng)管感到十分納悶的是，為什么故障交換機(jī)的e0/8交換端口，在斷開網(wǎng)絡(luò)連接的情況下，它仍然能夠處于點(diǎn)亮狀態(tài)，同時(shí)該端口還存在網(wǎng)絡(luò)環(huán)路現(xiàn)象？經(jīng)過仔細(xì)分析，網(wǎng)管認(rèn)為該交換端口內(nèi)部可能發(fā)生了短路現(xiàn)象，該現(xiàn)象直接造成了目標(biāo)交換端口在無(wú)網(wǎng)絡(luò)連接的情況下，也能夠正常處于點(diǎn)亮狀態(tài)；當(dāng)該交換機(jī)的交換端口發(fā)生短路后，就相當(dāng)于在對(duì)應(yīng)虛擬工作子網(wǎng)中形成了網(wǎng)絡(luò)環(huán)路，該環(huán)路引發(fā)了廣播風(fēng)暴現(xiàn)象，最終導(dǎo)致故障交換機(jī)工作性能下降，表現(xiàn)出來(lái)的故障現(xiàn)象就是上網(wǎng)速度緩慢，同時(shí)上網(wǎng)連接也不穩(wěn)定。

當(dāng)然，這類網(wǎng)絡(luò)故障由于發(fā)生在具有環(huán)路測(cè)試功能的交換機(jī)上，網(wǎng)管只要從交換機(jī)后臺(tái)系統(tǒng)日志記錄中，就能快速地尋找到具體的環(huán)路位置；不過該故障要是發(fā)生在不支持環(huán)路測(cè)試功能的交換機(jī)上時(shí)，那么該故障排除起來(lái)就比較麻煩了。此時(shí)，我們可以嘗試在斷開交換機(jī)所有網(wǎng)絡(luò)連接的情況下，重新啟動(dòng)一次交換機(jī)后臺(tái)系統(tǒng)，并且仔細(xì)觀察各個(gè)交換端口的信號(hào)燈狀態(tài)，如果發(fā)現(xiàn)某個(gè)交換端口在沒有任何連接的情況下，端口信號(hào)燈狀態(tài)仍然閃爍，那么我們就能肯定該交換端口發(fā)生了短路現(xiàn)象。