途游鄒軼：中小公司的運(yùn)維怎么做？
原創(chuàng)
通過(guò)采訪和約稿的方式，請(qǐng)運(yùn)維領(lǐng)域老炮輸出深刻洞見(jiàn)，共同碰撞，以期形成一些先進(jìn)的共識(shí)，推動(dòng)行業(yè)更好得前進(jìn)。
這一期我們邀請(qǐng)到的是鄒軼，途游游戲運(yùn)維總監(jiān)，鄒總經(jīng)常戲稱自己是世界500萬(wàn)強(qiáng)企業(yè)的運(yùn)維代表，可見(jiàn)內(nèi)心中是覺(jué)得中小公司的運(yùn)維建設(shè)思路和大型企業(yè)是有差別的，今天我們帶著幾個(gè)問(wèn)題，來(lái)請(qǐng)鄒總分享一下他的中小公司研運(yùn)一體化之路。
這里是接地氣、有高度的《???運(yùn)維百家講壇??》第 6 期，開(kāi)講！
問(wèn)題預(yù)覽
- 途游是游戲公司，您覺(jué)得游戲運(yùn)維有哪些獨(dú)特性？面臨的最大運(yùn)維挑戰(zhàn)是什么？您又是如何解決這些挑戰(zhàn)的？
- 游戲運(yùn)維的人才技能是什么樣子的，如果想在游戲運(yùn)維方向發(fā)展，您對(duì)職業(yè)路徑規(guī)劃上有沒(méi)有什么建議？
- 中型公司的運(yùn)維團(tuán)隊(duì)通常不會(huì)很大，您是如何對(duì)這有限的人力排兵布陣的，有沒(méi)有什么心得可以分享給大家？
- 您是否會(huì)遇到因?yàn)閳F(tuán)隊(duì)人才水平不行，導(dǎo)致自己的想法落地慢，落地難的問(wèn)題，您是如何解決的？
- 您說(shuō)您特別認(rèn)同《運(yùn)維的未來(lái)是平臺(tái)工程》文章中的觀點(diǎn)，您的團(tuán)隊(duì)也是一個(gè)產(chǎn)研式的全功能組織，想請(qǐng)您介紹一下：對(duì)于業(yè)務(wù)研發(fā)，相比直接使用云廠商提供的平臺(tái)產(chǎn)品，您這個(gè)團(tuán)隊(duì)帶來(lái)的Delta增益是什么？
- 您經(jīng)常說(shuō)成本節(jié)省要硬橋硬馬，節(jié)省了大量成本，公司給發(fā)個(gè)獎(jiǎng)狀，說(shuō)明這個(gè)FinOps的項(xiàng)目大概率是在自嗨，在云上、云下Infra建設(shè)上，您的團(tuán)隊(duì)為公司帶來(lái)了巨額成本節(jié)省，而且得到了公司的物質(zhì)獎(jiǎng)勵(lì)，能否分享一下相關(guān)的心得？
- 運(yùn)維團(tuán)隊(duì)一直是站在公司業(yè)務(wù)的后面，離業(yè)務(wù)的距離相對(duì)遠(yuǎn)，對(duì)如何更好的支持業(yè)務(wù)，或如何說(shuō)明運(yùn)維對(duì)業(yè)務(wù)的價(jià)值這個(gè)點(diǎn)，您有什么建議？
采訪實(shí)錄
問(wèn)：途游是游戲公司，您覺(jué)得游戲運(yùn)維有哪些獨(dú)特性？面臨的最大運(yùn)維挑戰(zhàn)是什么？您又是如何解決這些挑戰(zhàn)的？
整體游戲運(yùn)維架構(gòu)相對(duì)傳統(tǒng)互聯(lián)網(wǎng)業(yè)務(wù)來(lái)比較，相對(duì)簡(jiǎn)單，但是單機(jī)可靠性要求比較高，運(yùn)維日常工作，相對(duì)事務(wù)性的工作較多，比如開(kāi)服合服等等。 面臨最大的運(yùn)維挑戰(zhàn)，其實(shí)不是技術(shù)層面的，更多的是價(jià)值認(rèn)可度層面的，怎么讓我們業(yè)務(wù)部門認(rèn)可我們的價(jià)值，這個(gè)挑戰(zhàn)我相信也是整個(gè)運(yùn)維賽道同仁們一致的挑戰(zhàn)。要去贏得業(yè)務(wù)部門的認(rèn)可，提升運(yùn)維團(tuán)隊(duì)的價(jià)值，從我以及我團(tuán)隊(duì)的實(shí)踐來(lái)總結(jié)，其實(shí)就是一句話：扎扎實(shí)實(shí)的做好服務(wù)，以業(yè)務(wù)部門/用戶為中心。
問(wèn)：游戲運(yùn)維的人才技能是什么樣子的，如果想在游戲運(yùn)維方向發(fā)展，您對(duì)職業(yè)路徑規(guī)劃上有沒(méi)有什么建議？
游戲運(yùn)維的人才技能和傳統(tǒng)互聯(lián)網(wǎng)行業(yè)沒(méi)有太大的區(qū)別，對(duì)于運(yùn)維這個(gè)賽道來(lái)說(shuō)，認(rèn)知比較低和缺乏體系的成長(zhǎng)環(huán)境，是我們中小廠運(yùn)維面臨的比較現(xiàn)實(shí)的問(wèn)題，我們常年和機(jī)器底層打交道，很少去認(rèn)真思考過(guò)，未來(lái)10年，15年后的發(fā)展，更多的是追逐熱點(diǎn)，追逐變化，很少去思考沉淀那些不變的內(nèi)容，以及怎么去利用這些內(nèi)容來(lái)做時(shí)間的朋友形成自己的競(jìng)爭(zhēng)力。我個(gè)人建議中小廠的運(yùn)維同學(xué)，還是要在理論方法論學(xué)習(xí)和技能提升兩手抓，用理論指導(dǎo)實(shí)踐，通過(guò)實(shí)踐完善自己對(duì)理論的理解。學(xué)習(xí)理論和方法這塊，我也提幾點(diǎn)建議：
- 持有開(kāi)放的心態(tài)去學(xué)習(xí)，ITIL，SRE，lean，scrum，平臺(tái)工程，可觀測(cè)等等，不要糾結(jié)于門派之見(jiàn)，只要對(duì)自己有價(jià)值的內(nèi)容，都可以去學(xué)習(xí)去吸收融合，比如ITIL抓住變更管理、故障管理、問(wèn)題管理、持續(xù)服務(wù)改進(jìn)，這幾個(gè)流程去學(xué)習(xí)并應(yīng)用于實(shí)踐，其實(shí)就能解決好大部分運(yùn)維問(wèn)題。又比如對(duì)SRE的理念的學(xué)習(xí)，抓住SLO的理念，開(kāi)展可靠性建設(shè)，引導(dǎo)業(yè)務(wù)部門與運(yùn)維團(tuán)隊(duì)建立一個(gè)可靠性目標(biāo)共擔(dān)的協(xié)作模式。而在實(shí)踐的SLO落地的過(guò)程中，又可以引入可觀測(cè)性理念和方法，來(lái)加強(qiáng)自己對(duì)可觀測(cè)性能力的建設(shè)。
- 面向國(guó)外科技公司學(xué)習(xí)為主，面向國(guó)內(nèi)大廠學(xué)習(xí)為輔，國(guó)外科技公司的理論和工程方法相對(duì)嚴(yán)謹(jǐn)和體系，不太受場(chǎng)景限制，可以學(xué)以致用，國(guó)內(nèi)的大廠更多偏向于特殊場(chǎng)景的實(shí)踐，理論和工程方法抽象不夠，基本上都是萬(wàn)億并發(fā)，千億流量的場(chǎng)景，其實(shí)和中小廠的運(yùn)維沒(méi)啥關(guān)系，中小廠去深度對(duì)標(biāo)學(xué)習(xí)，價(jià)值杠桿率不高。
問(wèn)：中型公司的運(yùn)維團(tuán)隊(duì)通常不會(huì)很大，您是如何對(duì)這有限的人力排兵布陣的，有沒(méi)有什么心得可以分享給大家？
有限的資源，往往容易激發(fā)創(chuàng)新，團(tuán)隊(duì)規(guī)模可以不大，但是要保持精干、敏捷，換句話說(shuō)就是你團(tuán)隊(duì)要足夠能打，而且應(yīng)對(duì)不確定性能力要強(qiáng)，要想達(dá)到這個(gè)效果，我個(gè)人總結(jié)了我們這5年的組織能力建設(shè)實(shí)踐：
- 人才結(jié)構(gòu)要做深度優(yōu)化，要引入專業(yè)產(chǎn)研人才，用產(chǎn)研驅(qū)動(dòng)團(tuán)隊(duì)價(jià)值輸出。目前途游的運(yùn)維安全團(tuán)隊(duì)，產(chǎn)研和傳統(tǒng)運(yùn)維比例接近1:1。
- 研運(yùn)一體化的組織模式去構(gòu)建，要形成一支全職能，端到端的混合型團(tuán)隊(duì)。目前的途游的運(yùn)維安全團(tuán)隊(duì)，有產(chǎn)品經(jīng)理、研發(fā)負(fù)責(zé)人，前，后端工程師，服務(wù)運(yùn)營(yíng)工程師，運(yùn)維工程師，IT工程師。
- 圍繞互信、目標(biāo)一致、信息共享、去中心化去構(gòu)建敏捷的文化氛圍。通過(guò)敏捷的文化氛圍，來(lái)形成一支能應(yīng)對(duì)不確定性的敏捷組織。
關(guān)于敏捷組織的實(shí)踐，可以看我的分享：https://tuyoo.feishu.cn/docs/doccnFlAD2m7WnSpcLYxFJRImZb
問(wèn)：您是否會(huì)遇到因?yàn)閳F(tuán)隊(duì)人才水平不行，導(dǎo)致自己的想法落地慢，落地難的問(wèn)題，您是如何解決的？
這個(gè)肯定會(huì)遇到，我們解決思路：
- 保持耐心，對(duì)團(tuán)隊(duì)持續(xù)迭代，這個(gè)就和打牌一樣，你不能期望上手一手好牌，這個(gè)都得不斷的進(jìn)出的換牌，最后把牌理順去贏得比賽。
- 對(duì)新人的標(biāo)準(zhǔn)是潛力要高于團(tuán)隊(duì)現(xiàn)有70%的人員，不符合標(biāo)準(zhǔn)寧可不招聘，招人謹(jǐn)慎，對(duì)人的培養(yǎng)才會(huì)用心。
- 團(tuán)隊(duì)負(fù)責(zé)人自己一定是團(tuán)隊(duì)首席HR，要主動(dòng)出擊去找人才，我最近4年在BOSS直聘上大概聊過(guò)接近兩萬(wàn)人吧，看過(guò)的簡(jiǎn)歷應(yīng)該超過(guò)2萬(wàn)多份，這個(gè)可能很難有中小公司的運(yùn)維負(fù)責(zé)人會(huì)做到這點(diǎn)。
- 利用敏捷組織作為基礎(chǔ)支持，發(fā)揮集體智慧。
關(guān)于我團(tuán)隊(duì)轉(zhuǎn)型實(shí)踐分享：https://tuyoo.feishu.cn/docx/doxcnGMuijglK6NdENYC2vD7KKh
問(wèn)：您說(shuō)您特別認(rèn)同《運(yùn)維的未來(lái)是平臺(tái)工程》文章中的觀點(diǎn)，您的團(tuán)隊(duì)也是一個(gè)產(chǎn)研式的全功能組織，想請(qǐng)您介紹一下：對(duì)于業(yè)務(wù)研發(fā)，相比直接使用云廠商提供的平臺(tái)產(chǎn)品，您這個(gè)團(tuán)隊(duì)帶來(lái)的Delta增益是什么？
在回答這個(gè)問(wèn)題之前，我還是想闡述下我們對(duì)造輪子和外采服務(wù)的認(rèn)知：
我們其實(shí)對(duì)外采還是自研，蠻開(kāi)放的心態(tài)，也是蠻簡(jiǎn)單的判斷，就是看ROI的投入產(chǎn)出比，標(biāo)準(zhǔn)化的，投入巨大的，自己搞不定的肯定是盡量用外部三方的服務(wù)或者產(chǎn)品來(lái)幫助我們解決問(wèn)題，我們更關(guān)注的是如何服務(wù)好我們的業(yè)務(wù)部門，關(guān)注我們提供的服務(wù)結(jié)果和質(zhì)量，不太關(guān)注這個(gè)能力是我們自己具備的還是三方的服務(wù)能力，只要能幫助我們提升服務(wù)質(zhì)量和效率的，我們都非常開(kāi)放的心態(tài)去吸收和融合。
再來(lái)回答這個(gè)產(chǎn)研團(tuán)隊(duì)對(duì)我們的增益問(wèn)題，每個(gè)公司都有它本身一些特性或者定制化場(chǎng)景需求，這些東西外來(lái)產(chǎn)品肯定不能完全覆蓋到位，所以這樣的一支端到端的團(tuán)隊(duì)，其實(shí)是讓整個(gè)團(tuán)隊(duì)有了解決一些非標(biāo)問(wèn)題的能力。這種能力其實(shí)非常關(guān)鍵，很大程度決定了團(tuán)隊(duì)的價(jià)值實(shí)現(xiàn)。
另外再來(lái)說(shuō)說(shuō)我們對(duì)運(yùn)維的未來(lái)是平臺(tái)工程的理解，我對(duì)平臺(tái)工程的理解有兩點(diǎn)關(guān)鍵要素：
- 平臺(tái)工程面向的對(duì)象是以業(yè)務(wù)部門為主，而不是運(yùn)維為主
- 平臺(tái)工程提供的是自服務(wù)，平臺(tái)工程輸出的產(chǎn)品和工具一定是業(yè)務(wù)部門自服務(wù)為主
我們團(tuán)隊(duì)轉(zhuǎn)型探索，就是主要按照這兩個(gè)要素來(lái)做的實(shí)踐，但是理論水平不夠，沒(méi)有清晰的去提出平臺(tái)工程的理念。我們游戲運(yùn)維有一個(gè)蠻大的痛點(diǎn)就是瑣事很多，比如CDN的上傳發(fā)布，游戲的配置更新，例行起停服，都是游戲運(yùn)維日常的事務(wù)，不可或缺，但是都是事務(wù)性的，價(jià)值很低，可能在我們游戲運(yùn)維的常識(shí)里面，我們會(huì)想到做一些自動(dòng)化的工具，去提升運(yùn)維的人效，把運(yùn)維從人肉或者寫腳本的狀態(tài)，變成WEBOPS狀態(tài)，這個(gè)感覺(jué)杠桿率還是太低，并沒(méi)有把運(yùn)維釋放出來(lái)，所以在解決這些問(wèn)題過(guò)程中，誕生了我對(duì)平臺(tái)工程理念的原始理解，目前我們游戲運(yùn)維的日常事務(wù)性工作有50%都是項(xiàng)目組自服務(wù)，通過(guò)我們提供的工具，這在我們接觸平臺(tái)工程的理念后，發(fā)現(xiàn)是高度認(rèn)知一致的。所以對(duì)運(yùn)維的未來(lái)是平臺(tái)工程，我相信只要嘗過(guò)自服務(wù)的甜頭，吃過(guò)人肉運(yùn)維的苦的同學(xué)，應(yīng)該都會(huì)有很深的認(rèn)同感。
問(wèn)：您經(jīng)常說(shuō)成本節(jié)省要硬橋硬馬，節(jié)省了大量成本，公司給發(fā)個(gè)獎(jiǎng)狀，說(shuō)明這個(gè)FinOps的項(xiàng)目大概率是在自嗨，在云上、云下Infra建設(shè)上，您的團(tuán)隊(duì)為公司帶來(lái)了巨額成本節(jié)省，而且得到了公司的物質(zhì)獎(jiǎng)勵(lì)，能否分享一下相關(guān)的心得？
對(duì)于FINOPS這件事，平時(shí)也和行業(yè)一些專家老師做過(guò)一些交流碰撞，結(jié)合我們團(tuán)隊(duì)自己的實(shí)踐，我個(gè)人感覺(jué)FINOPS實(shí)踐落地難，難在改變老板的認(rèn)知，目前行業(yè)還是偏技術(shù)實(shí)現(xiàn)或者理念碰撞階段，還停留在比誰(shuí)更專業(yè)，更規(guī)范的階段，個(gè)人感覺(jué)不能影響到老板認(rèn)知的FINOPS，基本都是無(wú)價(jià)值，或者價(jià)值極低，做和不做沒(méi)啥區(qū)別。對(duì)于FINOPS這個(gè)領(lǐng)域不過(guò)多評(píng)價(jià)，我們縮小到成本優(yōu)化這件事來(lái)講，在我們團(tuán)隊(duì)我沒(méi)有設(shè)定過(guò)成本優(yōu)化的OKR，我們一直用精益的理念在指導(dǎo)開(kāi)展工作，精益有一個(gè)核心的理念，一切不產(chǎn)生價(jià)值的都是浪費(fèi)，持續(xù)消除浪費(fèi)， 這樣在工作開(kāi)展過(guò)程中，其實(shí)就不用搞運(yùn)動(dòng)式的成本優(yōu)化。很多省了幾個(gè)億的成本優(yōu)化，可能在老板眼里就是應(yīng)該的，以前浪費(fèi)太大了，現(xiàn)在只是消除浪費(fèi)，這自然就不會(huì)得到價(jià)值認(rèn)可。
成本優(yōu)化實(shí)踐過(guò)程中我個(gè)人總結(jié)了幾點(diǎn)：
- 要用精益的理念去持續(xù)指導(dǎo)成本優(yōu)化，而不是簡(jiǎn)單的運(yùn)動(dòng)式降本增效。
- 要拉齊價(jià)值共識(shí)，要和相關(guān)部門比如總辦，財(cái)務(wù)等監(jiān)管部門達(dá)成共識(shí)。
- 成本優(yōu)化的計(jì)算模型不能太復(fù)雜，模型計(jì)算太復(fù)雜，很難去達(dá)成共識(shí)。
- 數(shù)據(jù)要統(tǒng)一按照財(cái)務(wù)口徑進(jìn)行核對(duì)，不能我們從技術(shù)角度想當(dāng)然。
編者按：鄒總做成本優(yōu)化，具體節(jié)省多少錢是經(jīng)過(guò)財(cái)務(wù)最終測(cè)算的，個(gè)人覺(jué)得很值得借鑒，很多公司的成本優(yōu)化，都是自己測(cè)算的，缺乏公信力，老板較難有體感。
問(wèn)：這是老問(wèn)題了，運(yùn)維團(tuán)隊(duì)一直是站在公司業(yè)務(wù)的后面，離業(yè)務(wù)的距離相對(duì)遠(yuǎn)，對(duì)如何更好的支持業(yè)務(wù)，或如何說(shuō)明運(yùn)維對(duì)業(yè)務(wù)的價(jià)值這個(gè)點(diǎn)，您有什么建議？
具體怎么去體現(xiàn)價(jià)值，我建議運(yùn)維團(tuán)隊(duì)要想體現(xiàn)價(jià)值，首先是要有服務(wù)意識(shí)，然后是要對(duì)服務(wù)體系進(jìn)行建設(shè)，再就是保持耐心和持續(xù)改善，通過(guò)這個(gè)去形成一個(gè)正循環(huán)，從而把時(shí)間做朋友。
在這塊我簡(jiǎn)單分享下我們團(tuán)隊(duì)的服務(wù)體系建設(shè)指導(dǎo)綱要。我們以客戶為中心，構(gòu)建安全、可靠、高效、低成本、可持續(xù)的服務(wù)。通過(guò)服務(wù)運(yùn)營(yíng)輸出價(jià)值，通過(guò)產(chǎn)品和工具落地服務(wù)運(yùn)營(yíng)，并持續(xù)改善。在這個(gè)指導(dǎo)綱要中，我們將團(tuán)隊(duì)里的運(yùn)維、產(chǎn)研和運(yùn)營(yíng)三個(gè)職能角色進(jìn)行了深度融合。通過(guò)服務(wù)運(yùn)營(yíng)的輸出來(lái)把價(jià)值進(jìn)行體現(xiàn)。很多時(shí)候，做技術(shù)的人往往不太容易意識(shí)到服務(wù)運(yùn)營(yíng)的重要性，我們常常聽(tīng)到人們談?wù)摷夹g(shù)運(yùn)營(yíng)和產(chǎn)品運(yùn)營(yíng)，但很少有人談?wù)摲?wù)運(yùn)營(yíng)。這與我們做技術(shù)出身的慣性認(rèn)知有很大關(guān)系，更多的是站在自己專業(yè)領(lǐng)域去表達(dá)，很少去站在我們服務(wù)對(duì)象的角度去看我們的價(jià)值。很多人提到服務(wù)可能就會(huì)簡(jiǎn)單聯(lián)想到端茶倒水、跑腿這種角色，比較排斥提服務(wù)。但實(shí)際上，每個(gè)團(tuán)隊(duì)都是服務(wù)型團(tuán)隊(duì)。比如我們服務(wù)項(xiàng)目組，項(xiàng)目組服務(wù)我們最終的用戶，我們的最終用戶可能是在他的工作領(lǐng)域服務(wù)其他客戶。因此，提供服務(wù)是一件非常重要的事情。只有服務(wù)好了客戶，幫助他們獲得結(jié)果，才能真正體現(xiàn)自己的價(jià)值。
