騰訊游戲運營管理總監(jiān)劉棲銅

騰訊互動娛樂事業(yè)群的主營業(yè)務(wù)是游戲，所有騰訊游戲都是由這個事業(yè)群做的，估計很多人都玩過，像《英雄聯(lián)盟》、《全民突擊》等。我所在的部門叫運營部，負(fù)責(zé)所有騰訊游戲的技術(shù)運營工作。

比如說在騰訊游戲上一年花八萬，就是我們的VIP，我們有專屬的服務(wù)經(jīng)理對接，就像銀行的VIP用戶一樣。這里就不展開了，重點說說我所負(fù)責(zé)的運維管理工作吧：

如上所說，我們所負(fù)責(zé)的運維工作，是運營部的一部分工作。我們現(xiàn)在運維了幾百款游戲，而且數(shù)字還在快速增長，特別手游加入以來，每年都有一兩百款。

簡單介紹一下騰訊游戲運維團(tuán)隊的發(fā)展歷程：我們團(tuán)隊是2003年隨著騰訊代理《凱旋》游戲而成立的，發(fā)展到2005年的時候，我們做了一件事情，就是DO分離，DO分離的概念前些年提得比較多，現(xiàn)在大家好像不再提了。回頭來看，我們覺得DO分離是很有必要的，因為開發(fā)跟運維需要具備的核心能力是不同的。

接下來，在2006年的時候我們做了QO分離，意思就是我們把質(zhì)量管理團(tuán)隊（QA）和運維分離開了，這個后面我會再講一下。隨著團(tuán)隊進(jìn)一步擴(kuò)張，業(yè)務(wù)進(jìn)一步增加，2007年的時候我們把DBA專業(yè)團(tuán)隊分離出來了。

到2009年的時候發(fā)現(xiàn)業(yè)務(wù)發(fā)展很快，老板不給我們這么多人，怎么辦？光靠人去填的模式已經(jīng)運行不下去了，所以當(dāng)時成立了運維開發(fā)團(tuán)隊，專門建設(shè)運維工具。同時在2009年我們還成立了一個內(nèi)部安全團(tuán)隊，這個團(tuán)隊可能很多公司都沒有，比較特殊。

因為大家知道游戲行業(yè)，有些游戲類道具非常值錢，說不準(zhǔn)哪個同學(xué)手一抖給自己加個幾十萬，所以我們成立了內(nèi)部安全團(tuán)隊，做安全監(jiān)控，其中也包括權(quán)限控制，大家都知道，自動化系統(tǒng)權(quán)限控制非常重要，如果這個沒控制好就會出現(xiàn)災(zāi)難性后果。

時間到了2012年，我們開始提倡運維轉(zhuǎn)型，鼓勵運維向運維開發(fā)轉(zhuǎn)型，讓運維自己開發(fā)所需的工具來實現(xiàn)自動化。現(xiàn)在，我們提倡運維服務(wù)化和平臺產(chǎn)品化，這個后文會提到。

接下來，我從文化、組織、人、流程、工具這幾個維度分享一下運維管理的點滴經(jīng)驗。

我們團(tuán)隊的運維文化

運維文化：當(dāng)一個團(tuán)隊規(guī)模較大時，例如我們團(tuán)隊，有兩三百人的規(guī)模，這個時候我們可能需要一些文化層面的東西來統(tǒng)一大家的思想，讓大家在行為上按照我們的文化來思考和執(zhí)行。

我們目前提倡的文化，叫“運維四化”：服務(wù)化、標(biāo)準(zhǔn)化、自動化、產(chǎn)品化。標(biāo)準(zhǔn)化和自動化大家都比較好理解，我就不講了。重點強(qiáng)調(diào)一下我們?yōu)槭裁刺岢鲞\維的服務(wù)化。

#p#

為什么要“服務(wù)化”？

運維的本質(zhì)到底是什么？

我從2002年開始做運維，一直到現(xiàn)在，都算是在運維行業(yè)里摸爬滾打，以前，我覺得做好發(fā)布變更、故障處理，讓業(yè)務(wù)保持運行穩(wěn)定就是運維的價值，但通過這幾年的思考和實踐，我覺得那是不夠的。

那么運維的本質(zhì)到底是什么呢？我覺得是服務(wù)，是服務(wù)于業(yè)務(wù)，因為運維是用技術(shù)解決業(yè)務(wù)問題，運維的價值要依托于業(yè)務(wù)才能體現(xiàn)。

運維不是因為技術(shù)高深，或者管理了幾萬臺服務(wù)器而很牛逼，也不是能玩轉(zhuǎn)很多開源工具而很牛逼，這都不是運維的關(guān)鍵。

我提一個觀點：對于運維來說，服務(wù)第一，技術(shù)第二。運維技術(shù)再牛，如果不能服務(wù)于業(yè)務(wù)，幫助業(yè)務(wù)取得成功，那價值也是有限的。那么怎樣服務(wù)業(yè)務(wù)呢？我們總結(jié)了四點：

1.貼近業(yè)務(wù)：就是我們一定要與業(yè)務(wù)走得比較近，保持信息的暢通。

2.理解業(yè)務(wù)： 要知道業(yè)務(wù)目標(biāo)是什么，用戶群是什么，商業(yè)模式是什么樣的。之前我見過很多運維，甚至在公司做了半年、一年，還不知道所運維的業(yè)務(wù)的商業(yè)模式是什么，這樣的話，我們怎么能有針對性地提供服務(wù)，去幫助業(yè)務(wù)成功呢？ 理解業(yè)務(wù)還意味著要站在業(yè)務(wù)運營的角度思考問題，而不僅僅站在運維的角度思考。

3.挖掘需求背后的價值：我們經(jīng)常會收到運營人員提出的需求，在理解業(yè)務(wù)的基礎(chǔ)上，我們要挖掘這些業(yè)務(wù)需求背后的價值，比如說運營人員讓發(fā)一個版本，做為運維，我們是不是把這個版本發(fā)布完就OK了呢？

肯定是不夠的，我們還要去看業(yè)務(wù)發(fā)這個版本的目的是什么？可能是為了拉新用戶，也有可能是做個活動去拉收入，或者是修復(fù)bug。

每一個版本的目的不一樣，運維所做的事情是可以不同的。比如這個版本是拉新用戶，我們把版本發(fā)布完以后，還可以采集更多的數(shù)據(jù)，去幫助運營人員分析，看是不是達(dá)到了拉新用戶的目的。或者協(xié)助運營人員分析，這個版本的用戶體驗對于拉新用戶是不是有瓶頸。這都是運維可做的事情，也是業(yè)務(wù)運營很需要的事情。

4.擴(kuò)展服務(wù)價值：著眼于業(yè)務(wù)和服務(wù)，我們可以不斷挖掘到新的價值點，擴(kuò)展運維服務(wù)的價值。

當(dāng)然了，這里絕不是說技術(shù)不重要，優(yōu)秀的運維服務(wù)需要強(qiáng)大的技術(shù)來支持。舉個例子，你想?yún)f(xié)助運營人員做用戶體驗的分析，這需要較強(qiáng)的技術(shù)能力來支撐。因為像上述的版本數(shù)據(jù)分析對實時性的要求很高，如果你沒有及時分析出來，錯過了運營時機(jī)可能就來不及調(diào)整了。

可以說，業(yè)務(wù)視角和服務(wù)意識決定了運維服務(wù)可以拓展到哪里，而技術(shù)能力則決定了這些服務(wù)最終可以實現(xiàn)多少。

前文講了我們的歷程，在2009年，我們做了一些組織分工，我們DBA團(tuán)隊，開發(fā)團(tuán)隊，安全團(tuán)隊都從這里分離出來了。

關(guān)于組織

這里想分享的經(jīng)驗是：當(dāng)團(tuán)隊和業(yè)務(wù)發(fā)展到一定規(guī)模的時候一定要考慮到專業(yè)化分工，業(yè)務(wù)和團(tuán)隊規(guī)模小的時候沒必要分的太細(xì)，因為業(yè)務(wù)場景對專業(yè)性的要求可能不高，隨著業(yè)務(wù)發(fā)展和團(tuán)隊變大，專業(yè)性的要求就高了。

所以我們現(xiàn)在的內(nèi)部劃分成5個角色，第一個角色是運維規(guī)劃。大家可以認(rèn)為它是運維的PM，他起到的作用是充分理解業(yè)務(wù)需求，挖掘需求背后的價值，同時他也熟悉運維內(nèi)部的各種資源，可以協(xié)調(diào)各種資源來滿足業(yè)務(wù)的需求。這些運維規(guī)劃都是從運維成長起來的，懂運維。

第二個角色業(yè)務(wù)運維，這個就不講了，大家都清楚。

第三個角色DBA，大家都知道DBA的重要性，他們最重要的職責(zé)之一就是要保證數(shù)據(jù)的安全。一個業(yè)務(wù)，就算是遇到像攜程這次的情況，就算全部線上環(huán)境都沒有了，但是只要數(shù)據(jù)還在，業(yè)務(wù)都還是可以恢復(fù)的，但如果連數(shù)據(jù)都找不到了，那就真完蛋了，所以DBA一定是獨立的，一定要保證數(shù)據(jù)是萬無一失的。

系統(tǒng)運維這個角色也不說了，大家也比較清楚。

還有就是運維開發(fā)的角色，我們覺得運維開發(fā)不是傳統(tǒng)的開發(fā)，運維開發(fā)首先是運維，其次才是開發(fā)，他們需要站在運維視角看問題的，站在運維視角開發(fā)工具給運維用。

關(guān)于人員管理和培養(yǎng)體系

組織里最重要的是人。在一個一定規(guī)模的團(tuán)隊里，建立人員的成長和培養(yǎng)體系是很重要的，尤其像規(guī)模到幾百人的時候，我們怎么樣保證團(tuán)隊里的同學(xué)們具備相應(yīng)的能力和成長空間。

在我們團(tuán)隊里，有一套運維的成長體系，運維同學(xué)希望從事管理或者協(xié)調(diào)方面的工作，可以往運維規(guī)劃方向發(fā)展；如果希望從事開發(fā)方面的工作，可以向運維開發(fā)方向發(fā)展。

配合成長體系，有一套培養(yǎng)體系。新人加入以后，首先有新人培訓(xùn)。這里所培訓(xùn)的內(nèi)容都是與運維相關(guān)的，比如運維系統(tǒng)的培訓(xùn)，在新人培訓(xùn)里有專門的篇幅是安全意識相關(guān)的，從剛?cè)肼氶_始就灌輸安全意識。此外，新人培訓(xùn)中還包括騰訊游戲運維血淚史，通過分享之前的教訓(xùn)提高新同學(xué)的運維操作意識。

新人在入職以后到轉(zhuǎn)正有三個月，在這三個月中，一般情況下新同學(xué)不能獨立操作正式的運營環(huán)境。只能在導(dǎo)師的帶領(lǐng)下操作。

那怎么才能具備獨立操作能力呢？需要考運維上崗認(rèn)證，這個認(rèn)證包括考試和評估兩個環(huán)節(jié)，考試的內(nèi)容大部分是新人培訓(xùn)的內(nèi)容，例如安全意識、運維操作規(guī)范等。

評估的形式是幾位資深的運維現(xiàn)場對被評估者進(jìn)行評測，考察他們在各種場景的理解和反應(yīng)，這些是不能通過背書本知識來回答的，所以還是比較考驗新同學(xué)的能力和意識的。

通過上崗認(rèn)證后會拿到一個上崗證，以前是會發(fā)一個紅色的證書，現(xiàn)在不發(fā)實體證書了，變成電子的了。這個上崗證后面還有一個作用，后面我會講到。

新同學(xué)轉(zhuǎn)正后，日常工作中會接觸到很多技術(shù)培訓(xùn)和分享，這些大部分是由內(nèi)部同學(xué)貢獻(xiàn)的，當(dāng)然也有公司內(nèi)外部的各種培訓(xùn)資源。

當(dāng)某位同學(xué)在團(tuán)隊內(nèi)工作了一段時間之后可能會面臨成長的問題，我們會挑選出有潛力的同學(xué)上運營規(guī)劃培養(yǎng)班或運維開發(fā)培訓(xùn)班。這兩個培養(yǎng)班分別培養(yǎng)運營規(guī)劃和運維開發(fā)。拿運營規(guī)劃培養(yǎng)班做例子，選定的同學(xué)經(jīng)過半年的培養(yǎng)后通過考核才能成為的運營規(guī)劃，通過率大概在40~60%。

#p#

運維人員的考核體系

運維人員的考核分為幾個部分：

第一，業(yè)務(wù)指標(biāo)。

業(yè)務(wù)指標(biāo)就是業(yè)務(wù)的一些關(guān)鍵性指標(biāo)，比如可用性、發(fā)布效率等等，還有很多其他指標(biāo)。這些指標(biāo)的作用是評估運維人員的基礎(chǔ)工作完成質(zhì)量，這是由QA，就是前面所述的質(zhì)量管理團(tuán)隊統(tǒng)計的，不是運維自己上報的，這樣可以保證其客觀性。

第二，關(guān)鍵事件。

關(guān)鍵事件是運維自己制定的，用于引導(dǎo)運維不斷優(yōu)化工作。這個關(guān)鍵事件每個月定一次，由運維和他的leader和運維規(guī)劃三方一起制定。

舉個例子，我們發(fā)現(xiàn)某個游戲它的發(fā)布時長過長，就可以把發(fā)布時長優(yōu)化做為這個游戲的運維人員這個月的關(guān)鍵事件，目標(biāo)是把這個業(yè)務(wù)的發(fā)布時長從多少降到多少。制定關(guān)鍵事件的目標(biāo)時比較細(xì)，要求是量化的，月底時運維根據(jù)完成情況獲得關(guān)鍵事件的得分。

第三，加分項目。

例如做分享和培訓(xùn)都可以加分，積極參加團(tuán)隊建設(shè)也可以獲得加分。

第四，扣分項目

我們的考核思路是盡量用正向加分的方式引導(dǎo)，一般不扣分。除非是人為失誤造成業(yè)務(wù)故障。所謂人為失誤指運維操作不當(dāng)造成的問題，我們對人為失誤持“低容忍” 的態(tài)度，因為我們覺得做為運維，意識是非常重要的，操作時要時時刻刻秉持小心謹(jǐn)慎的態(tài)度，抱著敬畏的心情對待運營環(huán)境。

如果出現(xiàn)人為失誤造成業(yè)務(wù)故障的情況，對于個人會有什么影響呢？

前面提到的運維上崗證的另一個作用就在這里了，大家都知道違章后駕照扣分這項處罰措施挺有威懾力的，我們吸取了經(jīng)驗，對運維上崗證也實行積分扣分制度：運維上崗證每半年都有10分的積分，如果出現(xiàn)人為失誤的故障就從中扣除一定的分?jǐn)?shù)，如果分?jǐn)?shù)扣完，上崗證就會被注銷，那么這位運維就需要被評估是否適合在運維崗位上繼續(xù)工作了。

當(dāng)然，這個扣分制度的目的肯定不是為了處罰，主要還是希望通過這種方式提高大家的操作意識，避免人為失誤。有的同學(xué)可能會問，為什么不靠自動化來降低人為失誤，而要用這種考核手段？

這里我想說，根據(jù)我們的經(jīng)驗，游戲運維是很復(fù)雜的體系，特別是團(tuán)隊大了以后，自動化程度再高還是有很多人為失誤的空間，最終的決定性因素還是人，所以，意識強(qiáng)化和考核手段還是不可或缺的。

關(guān)于流程的幾點思考

流程的本質(zhì)就是管理和控制，其實大家做的每一件事情都有流程，隨便做一個發(fā)布，做的這些步驟就是流程，所以流程其實是無處不在的。

很多運維同學(xué)都覺得流程好麻煩，覺得流程就是給運維的桎梏，其實用好流程是可以保護(hù)運維的。我們很多時候需要跟運營和研發(fā)配合，如果用好了流程這個工具是可以保護(hù)運維利益的。

但是，流程執(zhí)行起來的確有成本，那怎么降低流程的成本呢？

我們覺得流程應(yīng)該“隱形化”，就是讓流程融入到運維系統(tǒng)中，讓運維同學(xué)不用花額外的精力去執(zhí)行流程，感覺不到流程的存在，讓流程起到控制作用的同時，盡量不降低我們的效率。

關(guān)于工具建設(shè)的幾點思考

首先，我們認(rèn)為工具的建設(shè)者必須是工具的使用者， 要懂得應(yīng)用場景，否則的話，造出來的工具是不好用的。因為在這里我們是吃過一些虧的，剛才提到2009年我們就建立了運維開發(fā)團(tuán)隊，但是到2011年發(fā)現(xiàn)我們工具覆蓋的情況還是不夠好，運維不愿意用，我們建立的是專業(yè)的開發(fā)團(tuán)隊，有產(chǎn)品經(jīng)理、開發(fā)、測試，但是為什么做出來的工具就不對運維的胃口呢？

我們后來發(fā)現(xiàn)，開發(fā)團(tuán)隊并不懂運維場景，雖然他們也會做很多運維需求的訪談，但總是發(fā)現(xiàn)做出來的東西不是運維想要的。

所以后來我們改變了工具開發(fā)的模式，改成在運維中培養(yǎng)運維開發(fā)，讓運維開發(fā)自己開發(fā)工具給自己用。這樣的話，為了降低開發(fā)成本，我們做了藍(lán)鯨平臺，運維只要經(jīng)過兩周左右的培訓(xùn)就可以在藍(lán)鯨上面開發(fā)工具。

標(biāo)準(zhǔn)化是自動化最重要的一個基礎(chǔ)，如果沒有標(biāo)準(zhǔn)化的話自動化是不會長久的。如果業(yè)務(wù)之間架構(gòu)差異過大怎么辦呢？可以降低標(biāo)準(zhǔn)化的維度，比如我們?nèi)崿F(xiàn)原子操作的標(biāo)準(zhǔn)化。

了解的同學(xué)應(yīng)該知道，游戲架構(gòu)是很不標(biāo)準(zhǔn)化的，游戲不像Web應(yīng)用，有很多框架模型，它沒有，各家廠商各做各的，因此我們只能做原子操作的標(biāo)準(zhǔn)化，然后再在其上去組裝各種場景作業(yè)。

我們做自動化一定要打通企業(yè)內(nèi)的各個信息孤島，全流程的自動化才是真正的自動化。只有都打通了，在作業(yè)執(zhí)行過程中才不會中斷，可以實現(xiàn)無人值守的自動化，藍(lán)鯨平臺就是這樣的，它有一條ESB，打通了很多外部的系統(tǒng)接口。運維在藍(lán)鯨上開發(fā)工具需要打通其他系統(tǒng)的直接調(diào)用就行了，大大提高了開發(fā)效率。

產(chǎn)品化：運維平臺要以產(chǎn)品理念建設(shè)

最后，我想說的是，前面提到運維文化中有一個產(chǎn)品化，為什么提產(chǎn)品化？因為我覺得運維平臺是要以產(chǎn)品的理念來建設(shè)的，這里包括很多的層面，這里就簡單提其中一點：重視平臺的用戶交互。以前，大家覺得運維平臺是內(nèi)部系統(tǒng)，能用就行，交互好不好無所謂。

但是我們發(fā)現(xiàn)，內(nèi)部平臺也需要交互優(yōu)良，如果交互不好的話，可能有以下負(fù)面作用：一是交互不好容易造成誤操作的情況引發(fā)故障；二是交互不好，很難用的話可能會被內(nèi)部用戶拋棄，被新的系統(tǒng)或平臺替代。

所以，運維平臺做為內(nèi)部平臺，也需要重視用戶的交互，一定要有良好的界面，要讓用戶操作起來比較方便而且不容易發(fā)生誤操作。