虛擬化、容器、NoSQL、Hadoop、Spark......層出不窮，令人眼花繚亂，云計算、大數據、移動通信等互聯網新技術不斷演進，系統運維的技術含量越來越大，對系統運維人員的綜合素質及能力要求也越來越高，系統運維也不再是部署系統、寫管理腳本那么簡單了。

　　而且，隨著業務應用越來越復雜，設備數量越來越多，管理難度越來越高，運維人員必須高屋建瓴，全面謀劃，有能力提供一個全局性、高效健壯、標準規范、自動化的解決方案并加以實現。51CTO記者就系統運維的職業技能要求、工作中會遇到哪些難點和解決方案，以及運維人員的職業發展等問題，請教了韓曉光老師。如下內容是采訪實錄，希望大家能夠有所收益。

　　一、您是怎樣入行的呢?剛入行時，遇到了哪些令人苦惱的問題?

　　記得90年代末，中國互聯網迎來了春天，搭上了世界IT行業的末班車。那個時候，電視、冰箱、洗衣機還是奢侈三大件。我們小伙伴們還在搖桿式游戲廳度過，至于電腦是什么鬼，我們都很少接觸到。后來，有一次混進電腦室，面對窗明幾凈，齊刷刷的電腦，我小有震撼，但體驗并不好，就是學敲五筆。記得電腦里還有超級瑪麗，但我很疑惑：這么神秘的電腦房怎么還不如街頭游戲廳好玩呢:)。

　　再往后，我懷著一種憧憬選擇了計算機專業。那個時候，IT互聯網剛剛經歷了2000年前后的陣痛。再后來，我畢業了，陣痛和迷茫了，我要干什么呢?后來我開始接觸到運維工作，當初次進入企業級機房時，我被各種大型機，小型機，X86，以及機房(的轟鳴聲)又一次震撼了。

　　原來IT幕后是這樣的啊！我心里想，這貌似挺好玩的。從此，便走上了運維的“不歸路”，直至現在還“無法自拔”。可能人生就是這樣，在各種機緣巧合下，冥冥之中，你驀然回首，發現自己竟然在這個人生道路上已走了那么遠…….

　　在享受職業工作帶來享受的同時，也會經歷各種陣痛。

　　記得我的同事師傅喊我去機房進行設備上架布線。他帶個手套，我很疑惑，他笑了笑，再然后，我的手被機架導軌劃破流血了，他說他也是這么經歷過的。術業有專攻，原來上架布線還有這么多學問，一個好的機房建設，其風火水電，人、事、物流程其中也都大有學問。

　　剛接觸運維工作時，會突然冒出很多新鮮東西，有軟件也有硬件的，有文檔性也有技術性工作……這其中，有喜歡也有不喜歡的，有熟悉也有不熟悉的，但最終都是要面對的。

　　對于從新手到經驗者的轉變過程，往往會有一個煎熬的過程，熬得住就算入行了，熬不住則就仍然在徘徊、浮游中度過。

　　運維工作需要很多技能知識，有點像雜耍藝人的感覺，因此要有耐心，要虛心，多交流，一定要多實踐，不要認為書本上學到的就靠譜。

　　對于運維工作，不論新手還是老手，都可能經常遇到一系列痛處。比如以下幾個場景。

　　干運維工作需要有責任心，勇于擔當，巧干實干，但不能無腦地干，否則后果可能很嚴重，或許一個命令下去，全系統over，這樣案例在IT圈里還是很多的，后果是不堪設想的。

　　二、在您近十年的工作經驗里，有哪些讓您印象深刻的故障發生?您是如何解決的?

　　作為運維工作者，故障往往是必經之路。從到處救火的消防員到洞若觀火的觀察員職業發展道路上不斷磨練。這也是鳳凰涅槃，浴火重生，走向運維大神的必修課。

　　在我這些年的運維工作中，可謂故障叢生，五花八門，有合同流程問題，也有SLA服務問題，當然更多的是具體運維故障。作為職業IT消防員，我們在面對故障問題時，請盡量保持冷靜頭腦，有條不絮處理問題，不可輕舉妄動，避免導致次生故障。但同時也不能瞻前顧后太多，什么都不去嘗試，導致故障持續時間大大延長。處理運維故障，膽大心細是關鍵。

　　下面說幾個我具體經歷的故障。

　　故障一：小型機AIX系統報ADAPTER ERROR

　　這種故障是比較危險的也比較難處理，原因在于導致該故障的原因較多，故障后果很嚴重。很多故障原因都可能導致該錯誤信息，比如網卡故障、HBA故障、存儲故障、光纖線故障、交換機故障等等都可能導致該報錯信息，難以快速定位故障點在哪里。該故障導致的后果很嚴重，不是斷網就是斷數據…..后果可想而知……

　　對于故障處理要有流程規范，不能沒有章法。對上述故障，通常我的解決思路：

　　1.首先考慮該故障影響等級、范圍、都關聯什么業務，人員。是否需要上報或者請求支持。

　　2.查系統日志，尋找故障時間前后什么人登陸了，做了什么動作，發生了什么事情。

　　3.這里經查是HBA故障，那就繼續查看其關聯的SAN交換機端口是否狀態正常。

　　4.這里經查SAN交換機端口不亮。那就繼續查看是光纖線是否正常(有無光亮)。

　　5.最后定位在SFP光纖模塊故障。更換后，設備、線路、系統恢復正常。

　　6.處理業務邏輯問題。然后請業務人員驗證。

　　故障二：CentOS系統中GlusterFS副本無法同步

　　對于有些故障，其對技術的準確理解是解決技術難題的重要技能。既有的經驗和網絡上同行類似經驗都是很好的解決思路。

　　對于上述問題，既然無法同步，那么權限是否有問題呢?很快我們發現其mount的NFS無法讀寫，但df顯示還有很多剩余空間。隨后，我們又發現原來是inode用盡了。既然問題找到，那么就隨之解決inode數量問題。最后，同步glustefs，解決了問題。

　　故障三：小型機CPU故障

　　有時候設備硬件會異常故障，對此意外，往往出現在不恰當的時間、地點。我曾經遇到過小型機CPU故障，直接導致宕機，后果當然很嚴重。我們不得不備份恢復業務，遷移系統。

　　廠商配合我們解決問題，后來定位到CPU故障。其中有一個奇葩的現象和理由：同型號的產品對比國外，放到國內運行幾年就很容易出問題，故障的設備往往都灰塵堆積，特別的臟。

　　對上述故障，我們的反思總結：什么樣的故障都可能發生，不是別人都沒有發生過你就不能發生，因此做好應急備份，做好系統架構才是關鍵。后來我們的災備體系，HA集群都逐漸加強與完善。

　　三、在日常工作中，IT運維工程師如何規避可能發生的故障?

　　故障總會發生，沒有一個IT企業的運維會高枕無憂。但我們可以做到防微杜漸，大事化小，小事化了。在日常工作中，做好事前預測防范，事中解決應急，事后分析總結。

　　要想提高運維水平，盡量規避風險故障，從根本上需要建立一個好的運維體系。運維體系是運維的基礎和核心。通過運維體系的構建及完善，使我們的運維做到穩定可靠，準確完備，規范科學。

　　從某種角度來看，系統運維體系可以用一個四面體來描述，包括四大方面：人、事、物、流程標準。

　　從人、事、物、流程這四個方面便可以很好地將運維體系進行解構，它們彼此互相作用，共同構建了一個完整實用的運維體系。

　　如果上述任何一個維度失衡，那么整個運維體系就是短板，水桶效應。例如隨著業務的發展，IT運維環境也要隨之發展。需要做的事情多了，可以花錢招兵買馬，購買新的軟硬件設備。但流程標準是否能配套跟得上IT發展呢?如果流程標準跟不上，那么可能做起事情就會一團糟糕，遍地是坑，舉步維艱。人力技能層次搭配不合理，職責混亂不清，資產設備管理混亂，不符合業務需要，此時可能就算招再多的人，購買再多的設備，只會使運維工作更加糟糕。

　　生產物件需要有模型，建設樓房需要有框架，干運維工作同樣需要構建體系。一個良好的框架體系是運維安全的最大保障。

　　綜上所述，這里列舉一些具體的措施，以期盡量規避和減輕故障影響。

　　1.排查安全隱患并進行整改。

　　2.故障分析的PDCA流程，查缺補漏。

　　3.按規章流程辦事。

　　4.建立應急預案體系。

　　5.定期不定期(桌面、實際)演練。

　　四、請您談下對IT運維發展趨勢的看法。

　　未來的發展總會有很多大家意料之外的事情，否則就不是未來的發展了。正如我們二十年前很難想到當今的移動互聯網時代。

　　但我覺得基于當前去暢想一下未來是很有意義的，因為今天的結果就是昨天的努力探索結果，而明天的結果也將是今天努力探索的結果。

　　1.云計算迅猛發展，混合云廣泛應用。正如我有私家車，但我也會使用公共交通工具;我有自己的房子住所，但我也會去住酒店賓館。出于不同的業務發展需要，私有云、公有云、混合云的發展都將各有其應用場景。

　　2.由于互聯網+，物聯網，大數據、云計算等各種理念技術的發展，這些都將對運維工作帶來巨大的機遇與挑戰。很多企業都處在傳統IDC運維方式與云運維方式探索中。縱向行業大數據的海量運維服務正在廣泛興起。

　　3.傳統IT運維與互聯網IT運維仍將長期并存。基于IOE架構的業務系統正在處于轉型中，但基于開源互聯網技術的成功經驗也并非都能復制。

　　4.運維開發是一種趨勢，是一種最佳實踐。對于廣大運維工作者是技術轉型的一種好的思路。

　　5.運維部門由成本中心向利潤中心的轉變，運維工作由基建、救火角色向戰略服務的轉變。

　　五、您認為運維工程師，日常需要經常充電嗎?請您推薦些比較優秀的學習途徑?

　　時代在不斷發展，IT產業日新月異，今天的經驗知識未必還適用于明天，因此我們需要持續充電學習。

　　以前可以做個百年老店，現在能撐住二三十年的就是模范，可見時代變換之快。如今各種線上線下學習、培訓、交流日趨頻繁，你有沒有感覺到今年的各種交流會特別多呢?

　　每個人都有各自的學習方式。說說我的一些體會，僅作參考。

　　1.首先是自學成才，一切問題的解決首先要靠自己。

　　2.有目的、有輕重緩急地去研究學習新技術。

　　3.樂于互相分享知識經驗，互相幫助協作。

　　4.學習、研究外界同行/大師的經驗。

　　六、您新出了一本運維實戰指南書籍《系統運維全面解析：技術、管理與實踐》，從三個方面進行了介紹，其中您提到不僅僅是運維知識的敘述總結，同時更是對運維體系，運維之道探索的過程。那么，您認為的運維之道什么呢?

　　首先，說說本書《系統運維全面解析：技術、管理與實踐》，曾參與本書創作及運維開發的同事有：呂四海、彭燃、史影、童寧、高浩天、任勇斌、王天維。本書目前獲得了很多讀者的好評，算是達到了本書的初衷：希望帶給大家的是思路和視野。給大家帶來一束光亮，縱然不能照明所有模糊不清的地方，至少讓大家看到一個路子，找到一個方向，減少大家摸索成長中的迷惑與歧路。

　　所謂大道自然，運維工作理應立足實際，放眼未來。每個行業、每個企業，每個人獨特之處，彼此的成功有可復制之處，也有不可復制之處。真正的大神是磨練出來的，紙上得來終覺淺，只有不斷認知與實踐，做到知行合一，方為至善，至運維之大道。

　　大方無隅，大象無形，運維的大境界應該是大家都想不起來運維。唯有走出自己的運維大道，方能撥開云霧，放眼四海，剖解問題猶如隨風入夜、潤物無聲，運維決策于千里之外。

　　行文不易，最后感謝馬艷鋒(中國航空結算公司資深工程師，存儲團隊負責人)對本訪談提出的寶貴的建議與支持。