升級導致網(wǎng)絡故障 經(jīng)典案例引發(fā)網(wǎng)管員深思
客戶打來電話尋求技術(shù)支持，這是一例因近期公司的網(wǎng)絡升級而引發(fā)的故障。在我接觸的故障中這個案例具有一定的典型性并且能夠帶給我們一些啟發(fā)，因此寫下來和大家分享。
1.故障癥狀
某機床鍛造企業(yè)在很早就組建了企業(yè)局域網(wǎng)，此后多年來鮮有更新改造，軟硬件嚴重滯后，網(wǎng)絡性能低下。為了改變這種狀況，新近該企業(yè)進行了一次比較大規(guī)模的網(wǎng)絡升級，由10M網(wǎng)全部提升為100M以太網(wǎng)，核心交換機為千兆以太網(wǎng)。為了節(jié)約成本，該企業(yè)沒有進行外包而是由自己的IT人員獨立實施此次改造工程。改造完工后，進行網(wǎng)絡測試時發(fā)現(xiàn)，網(wǎng)絡性能提升并不明顯，而且大部分的網(wǎng)絡成員訪問公司的服務器或者與其他不同子網(wǎng)的部門之間進行數(shù)據(jù)交互是感覺速度慢，有時數(shù)據(jù)出錯。但是子網(wǎng)段內(nèi)拷貝數(shù)據(jù)速度基本不受影響，用Ping測試檢查所有工作站和服務器均正常。以上是客戶向我們反應的具體情況。
2.初步診斷
根據(jù)客戶反應的情況看問題并不嚴重，初步判斷應該布線方面出了問題，在我們的經(jīng)驗范圍之內(nèi)。因此這次并沒有親自出診，而是建議他們對網(wǎng)絡布線系統(tǒng)進行嚴格認證測試。由于該企業(yè)的信息中心除了電纜和光纜的認證測試儀外，沒有其它測試維護工具，無法對網(wǎng)絡進行評測。他們利用現(xiàn)有工具和技術(shù)手段進行了測試，給我們反饋的情況是，布線施工質(zhì)量優(yōu)良，全部電纜光纜鏈路按超五類標準測試參數(shù)均合格，沒有發(fā)現(xiàn)任何問題。此外，該公司的IT人員又進行了網(wǎng)絡系統(tǒng)及平臺的重新安裝，但仍無濟于事。
3.進一步了解
看來問題沒有想象的那么簡單，我們有詢問了客戶這次網(wǎng)絡升級中的一些技術(shù)細節(jié)。通過詢問得知，由于總公司希望全面提高ERP系統(tǒng)的覆蓋范圍，在這次網(wǎng)絡升級過程中新增的網(wǎng)絡設備比較多，網(wǎng)上成員也增加了二倍多，工作站從原來的220臺猛增至680臺;辦公區(qū)和生產(chǎn)區(qū)之間、生產(chǎn)區(qū)和生產(chǎn)區(qū)之間均用光纜和路由器連接起來。另外，該企業(yè)的網(wǎng)絡各子網(wǎng)段基本上采用核心交換機和工作組交換機作網(wǎng)絡骨架，用桌面交換機和集線器混用的方式構(gòu)成基層用戶接入平臺。核心交換機之間為千兆以太網(wǎng)連接，用戶全部為100M到桌面。為了便于維護和管理，同時也從安全角度考慮，設計方案中將大多數(shù)數(shù)據(jù)服務器均安裝在了網(wǎng)管中心。
該企業(yè)的IT人員抱怨，這樣的網(wǎng)絡結(jié)構(gòu)使得網(wǎng)絡管理更加復雜，網(wǎng)絡管理面臨重重難題，查找故障不象從前那樣容易了。沒錯，通過這次網(wǎng)絡升級，一來網(wǎng)絡規(guī)模比以前大多了，故障數(shù)量和種類增多;二來網(wǎng)絡結(jié)構(gòu)變得比以前復雜多了，故障的定位分析和隔離變得比較困難。
4.親自出診
因為網(wǎng)絡為新擴容的網(wǎng)絡，而且故障是在網(wǎng)絡升級之后出現(xiàn)的，所以先看看該企業(yè)的網(wǎng)絡拓撲，是否有設計不合理的地方，但從拓撲圖上看不出網(wǎng)絡結(jié)構(gòu)設計有何不合理之處。
由于在各子網(wǎng)段內(nèi)拷貝數(shù)據(jù)時速度基本不受影響，而多在跨網(wǎng)段時受阻，所以我們把分析的重點放在跨網(wǎng)數(shù)據(jù)的分析上。將網(wǎng)絡測試儀接入辦公區(qū)網(wǎng)絡的網(wǎng)管中心，打開網(wǎng)段內(nèi)的全部4個路由器的端口觀察。通過檢測發(fā)現(xiàn)網(wǎng)段間的流量為27%～42%之間，由于網(wǎng)絡沒有多媒體應用啟用，因此如此高的流量記錄是不正常的。
下面我們需要觀察這些流量的走向，于是在辦公區(qū)將網(wǎng)絡測試儀串入路由器與交換機之間(100M端口)監(jiān)測。啟動IP矩陣監(jiān)測和以太網(wǎng)MAC矩陣監(jiān)測功能，觀察數(shù)據(jù)流向。觀測的結(jié)果是，大部分的數(shù)據(jù)流向均指向辦公區(qū)的WINS服務器，而WINS響應流量極少。查看拓撲圖，該WINS服務器直接與一臺工作組交換機相連，打開工作組交換機的端口記錄檢查，流量記錄為13%并伴隨少許碰撞指示記錄。
為了不影響用戶的使用，下班后我們從測試儀所在端口向WINS服務器所在交換機端口P32的鄰近端口P31發(fā)送高額流量。我們選值為90Mbps的流量沖擊，并在此鄰近端口P31觀察接收到的流量記錄，記錄顯示為89.7Mbps，這說明端口P31的通道測試是合格的。然后對準WINS服務器所在端口P32發(fā)送90Mpbs的高額流量，觀察P32端口流量沖擊記錄，結(jié)果顯示為13.5%，并出現(xiàn)大量延遲幀，表明該端口通道測試不合格。將流量發(fā)送方向指向與該端口連接的上游端口P17，觀察P17流量顯示為90Mbps。問題很清楚，被丟棄和延遲的流量就在P32口。
然后，我們對WINS本身作WINS查詢，10次測試響應只有2次，響應地址正確，響應率20%。重新測試WINS鏈路電纜，合格。測試WINS服務器網(wǎng)卡，合格;測試交換機的端口P32，低效。再此臨時將WINS服務器端口P32改接到端口P33，重新啟動系統(tǒng)，5分鐘后進行上述測試，全部合格。為了驗證P32口低效，用網(wǎng)絡測試儀接入該端口并向P17發(fā)送90M流量，收到流量為12%，應該是這臺工作組交換機有故障。由于這臺工作組交換機這次網(wǎng)絡升級中購置的新品，尚在包換期內(nèi)。更換該交換機后，第二天進行測試，在公司員工上班后的網(wǎng)絡使用高峰期開頭所述的網(wǎng)絡故障消失，同時網(wǎng)絡速度比以前有了驚人的提高。#p#
5.故障總結(jié)
故障解決了，我們找到了罪魁禍首——一臺工作組交換機。其實，交換機只是“替罪羊”真正的元兇應該是不夠科學、合理的網(wǎng)絡結(jié)構(gòu)。不然一臺小小的工作組交換機為什么能夠引起如此大面積的網(wǎng)絡故障呢?
為了使得大家對此有更進一步的認識，我們重新梳理一下該公司的網(wǎng)絡結(jié)構(gòu)以及這次網(wǎng)絡故障。在該企業(yè)重新升級的網(wǎng)絡中，大多數(shù)數(shù)據(jù)服務器設置在辦公區(qū)的網(wǎng)管中心，而且公司整個系統(tǒng)的工作依賴集中式系統(tǒng)中的這些專用數(shù)據(jù)服務器。另外，鏈路連接和數(shù)據(jù)交換時需要WINS服務器提供服務。而與WINS服務器連接的鏈路中，如果交換機一側(cè)的端口P32發(fā)射能力低效，使得發(fā)送的信號幅度不符合要求，再加上鏈路長度不長，所以并不是對所有的數(shù)據(jù)包WINS服務器都無響應。這使得有些數(shù)據(jù)被作為部分錯誤和碰撞數(shù)據(jù)由端口記錄，大部分從交換機各端口送往P32端口的數(shù)據(jù)因鏈路接口問題被延遲和丟棄，而造成記錄數(shù)據(jù)中有用流量正常，而網(wǎng)絡用戶速度普遍偏慢的假象。這難道不是由于網(wǎng)絡拓撲的不合理造成的嗎?
6.維護建議
首先，建議企業(yè)在進行網(wǎng)絡改造的時候，一定要根據(jù)企業(yè)的需求和實際應用合理規(guī)劃網(wǎng)絡拓撲。這其中，應該盡可能地尋求專家的幫助，構(gòu)建科學、合理、高效的網(wǎng)絡結(jié)構(gòu)。這樣的網(wǎng)絡不僅利與維護、管理，而且在故障發(fā)生時能夠快速定位，也不至于一個小問題引發(fā)大故障。
此外，我們知道，交換機、網(wǎng)卡、集線器和路由器等網(wǎng)絡設備的端口一般從工作2～3年開始出現(xiàn)低效現(xiàn)象，5年后比例為3%～18%(這取決于不同的廠商產(chǎn)品質(zhì)量，也取決于同一廠商的不同系列產(chǎn)品的產(chǎn)品質(zhì)量)。另外，由于系統(tǒng)中有大量的端口，所以在網(wǎng)絡維護周期建議中要求每半年對端口性能進行定期測試。每一～二年對布線系統(tǒng)進行一次輪測，尤其對重要的網(wǎng)絡設備如服務器、交換機、路由器等應該堅持定期測試，這樣做對提高網(wǎng)絡的可靠性有莫大的幫助。所以，在網(wǎng)絡改造完成后對于所有的網(wǎng)絡設備進行一次普查，將相關(guān)的情況比如設備性能、使用年限、端口登錄進行備案，列入頂起維護計劃中。
7.總結(jié)
其實，我寫這這篇文章并不僅僅是告訴大家如果排除類似上述的網(wǎng)絡故障，而是希望大家能夠通過這個案例有所思考，想想網(wǎng)絡故障的背后，比如如何進行科學的網(wǎng)絡改造等等。
【編輯推薦】
