服務(wù)才是未來(lái) 騰訊游戲運(yùn)維的實(shí)踐分享

作者：涂彥 2015-12-01 14:51:43

運(yùn)維服務(wù)的“四化建設(shè)”，即標(biāo)準(zhǔn)化、自動(dòng)化、服務(wù)化、產(chǎn)品化，幫助游戲走向成功。對(duì)于智能運(yùn)維，我們認(rèn)為通過(guò)了之前的標(biāo)準(zhǔn)建設(shè)，通過(guò)了服務(wù)化建設(shè)之后我們有足夠的平臺(tái)，我們有這么多的業(yè)務(wù)數(shù)據(jù)，我們可以通過(guò)更好的閉環(huán)，通過(guò)更好的智能策略下發(fā)讓整個(gè)游戲的運(yùn)維服務(wù)更加智能。

　　[[157725]]

從運(yùn)維服務(wù)的“四化建設(shè)”談起

2014年，騰訊游戲運(yùn)維負(fù)責(zé)人劉棲銅在《騰訊游戲云的理想與實(shí)踐》分享中講到對(duì)下一代游戲運(yùn)維的定義，通過(guò)運(yùn)維服務(wù)的“四化建設(shè)”，即標(biāo)準(zhǔn)化、自動(dòng)化、服務(wù)化、產(chǎn)品化，幫助游戲走向成功，具體包括運(yùn)維服務(wù)體系的規(guī)劃，運(yùn)維工具體系的建設(shè)，用戶(hù)游戲體驗(yàn)優(yōu)化觸達(dá)，產(chǎn)品運(yùn)營(yíng)決策輔助支持等等。

　　今天，我跟大家分享一些騰訊游戲運(yùn)維在過(guò)去幾年里是如何落地去做的。我們經(jīng)歷了運(yùn)維建設(shè)的三個(gè)階段：

　　◆第一個(gè)階段：聚焦標(biāo)準(zhǔn)化

　　◆第二個(gè)階段：圍繞服務(wù)化

　　◆第三個(gè)階段：面向智能化

　　運(yùn)維轉(zhuǎn)型前的狀況

　　騰訊有一個(gè)QQ游戲平臺(tái)的業(yè)務(wù)里面有幾百款的小游戲，日活躍百萬(wàn)，變更需求日益頻繁，每天QQ游戲運(yùn)維5名同事要面對(duì)數(shù)以百計(jì)的開(kāi)發(fā)人員不計(jì)其數(shù)的日常各類(lèi)需求。面對(duì)這些需求，一開(kāi)始整個(gè)QQ團(tuán)隊(duì)處在非常被動(dòng)的情況下，因?yàn)楸旧磉\(yùn)維能力也比較單一，沒(méi)有辦法并發(fā)處理大量的需求。

　　運(yùn)維轉(zhuǎn)型的多崗分工

　　基于這種十分被動(dòng)的情況，QQ游戲運(yùn)維團(tuán)隊(duì)做了一件事情，運(yùn)維轉(zhuǎn)型。

　　設(shè)置不同的運(yùn)維崗位：

　　◆第一類(lèi)：操作運(yùn)維，專(zhuān)注反復(fù)度高的工作。

　　◆第二類(lèi)：業(yè)務(wù)運(yùn)維，專(zhuān)注基礎(chǔ)運(yùn)維工作。

　　◆第三類(lèi)：規(guī)劃運(yùn)維，專(zhuān)注在運(yùn)維工作項(xiàng)目管理及需求規(guī)劃設(shè)計(jì)。

　　◆第四類(lèi)：開(kāi)發(fā)運(yùn)維，專(zhuān)注運(yùn)維工具的開(kāi)發(fā)。

　　多崗運(yùn)維的互相配合

　　1.業(yè)務(wù)運(yùn)維：熟悉業(yè)務(wù)，并把常規(guī)的發(fā)布變更任務(wù)定義成原子。

　　2.開(kāi)發(fā)運(yùn)維：通過(guò)平臺(tái)的頁(yè)面進(jìn)行原子操作的流程作業(yè)開(kāi)發(fā)，日常操作頁(yè)面化。

　　3.規(guī)劃運(yùn)維：把這些場(chǎng)景按操作流程，自由組合封裝起來(lái)。

　　4.操作運(yùn)維：固化流程，并進(jìn)行工具的操作。

　　QQ游戲運(yùn)維通過(guò)不斷的工具建設(shè)，操作運(yùn)維執(zhí)行需求的比例不斷上升，目前超過(guò)90%以上(也就是自動(dòng)化程度)。業(yè)務(wù)運(yùn)維基本上可以不用再做這些日常重復(fù)度很高的工作了。

　　QQgame運(yùn)維團(tuán)隊(duì)是騰訊游戲的一個(gè)縮影，通過(guò)這樣的創(chuàng)新模式，我們看到運(yùn)維完全可以通過(guò)標(biāo)準(zhǔn)化的工具建設(shè)來(lái)解決業(yè)務(wù)爆發(fā)式增長(zhǎng)與運(yùn)維人員人力支撐間的矛盾，這種模式可以給更多的業(yè)務(wù)進(jìn)行復(fù)用，也是運(yùn)維團(tuán)隊(duì)作為平臺(tái)技術(shù)所體現(xiàn)的核心價(jià)值之一。

　　標(biāo)準(zhǔn)化之路并不平坦

　　實(shí)踐路上，我們?cè)跇?biāo)準(zhǔn)化建設(shè)中也碰到一些問(wèn)題，比如：

　　◆在我們標(biāo)準(zhǔn)化建設(shè)的第一個(gè)半年里面，整個(gè)藍(lán)鯨平臺(tái)也是在發(fā)展過(guò)程當(dāng)中，它周邊的接口也不夠豐富。

　　◆我們認(rèn)為標(biāo)準(zhǔn)化就是把之前做過(guò)三、四十款游戲經(jīng)驗(yàn)總結(jié)出來(lái)，結(jié)果導(dǎo)致了對(duì)原有的業(yè)務(wù)再改造起來(lái)成本很高。

　　◆另外，藍(lán)鯨平臺(tái)并發(fā)的性能，最早期的時(shí)候，它是串型處理的。

　　通過(guò)半年的調(diào)整之后，隨著藍(lán)鯨整個(gè)工具平臺(tái)逐步的成熟之后，我們接口比原來(lái)豐富了。我們的步驟比原來(lái)更靈活了，并且允許不同的業(yè)務(wù)進(jìn)行自定義。在工具上線過(guò)程當(dāng)中有開(kāi)發(fā)的標(biāo)準(zhǔn)界定，有工具審核。現(xiàn)在騰訊游戲的基礎(chǔ)操作都要求并很容易進(jìn)行標(biāo)準(zhǔn)接入了。

　　過(guò)去一年里，通過(guò)標(biāo)準(zhǔn)化工具，在發(fā)布、開(kāi)區(qū)、擴(kuò)容，縮容、自定義等場(chǎng)景中共執(zhí)行2W+次任務(wù)，剔除了等待、中途未完成的任務(wù)，相當(dāng)于700天+工作量，這使得我們的運(yùn)維有更多時(shí)間邊喝咖啡邊創(chuàng)造更多有意義的工作。

　　看服務(wù)化運(yùn)維是如何煉成的

　　如果說(shuō)標(biāo)準(zhǔn)化運(yùn)維解決了運(yùn)維本身的痛點(diǎn)，那么在服務(wù)化運(yùn)維里面，其實(shí)更多的要去解決產(chǎn)品的痛點(diǎn)。

　　基礎(chǔ)的運(yùn)維工作是被動(dòng)的。服務(wù)化的運(yùn)維是主動(dòng)的運(yùn)維，我們自己發(fā)現(xiàn)問(wèn)題，并且通過(guò)我們的能力解決問(wèn)題。我們通過(guò)數(shù)據(jù)驅(qū)動(dòng)我們的服務(wù)。我們?cè)谡麄€(gè)的服務(wù)化當(dāng)中，非常強(qiáng)調(diào)運(yùn)維閉環(huán)服務(wù)。

　　讓我們一起看一下騰訊游戲“4大名著”之DNF(地下城與勇士)的運(yùn)維怎么進(jìn)行服務(wù)化運(yùn)維的突破。

　　我們就從DNF的玩家在線恢復(fù)時(shí)長(zhǎng)優(yōu)化來(lái)說(shuō)。13年DNF在1月份大版本發(fā)布后，我們花了將近12個(gè)小時(shí)才恢復(fù)正常的玩家在線。經(jīng)過(guò)3年不斷的建設(shè)，我們?cè)诮衲?月份的時(shí)候，僅用了0.9個(gè)小時(shí)就做到了。

那是怎么樣做到的呢?

　　首先來(lái)看一下進(jìn)入游戲時(shí)長(zhǎng)優(yōu)化，在線恢復(fù)過(guò)程中，有一個(gè)重要的因子，就是玩家更新好最新的補(bǔ)丁后進(jìn)入到游戲所用的時(shí)長(zhǎng)，補(bǔ)丁包越大更新進(jìn)入游戲的時(shí)間越長(zhǎng)，比如在DNF，300M補(bǔ)丁包會(huì)使在線恢復(fù)的曲線很慢才能正常。

　　所以我們就在補(bǔ)丁包的下載優(yōu)化上進(jìn)行嘗試，13年時(shí)主要還是通過(guò)HTTP完成自動(dòng)更新，玩家在開(kāi)服的一瞬間涌進(jìn)來(lái)更新，雖然CDN的峰值帶寬很高，但實(shí)際上單用戶(hù)平均下載速度只有157k，更新非常慢，所以第一步我們?cè)谔囟〞r(shí)間范圍內(nèi)提升單用戶(hù)下載速度到485k，這樣先解決了燃眉之急。

　　但這樣的方案只是臨時(shí)解決。

　　緊接著，14年6月份我們對(duì)預(yù)下載方案進(jìn)行第一個(gè)版本的測(cè)試，通過(guò)游戲登陸器，我們用預(yù)下載的方式推送補(bǔ)丁包，下載速度提升到650k，在今年的5月份整個(gè)預(yù)下載做進(jìn)一步的優(yōu)化，以及進(jìn)行多渠道推送，下載速度又提升到1.2M，帶寬峰值進(jìn)一步下降。

　　DNF的在線時(shí)長(zhǎng)優(yōu)化，第二個(gè)重點(diǎn)是策略下發(fā)。初期，我們采用了用戶(hù)平均在線時(shí)長(zhǎng)來(lái)控制策略下發(fā)以及下載速率，但發(fā)現(xiàn)一個(gè)問(wèn)題，因?yàn)橛脩?hù)平均時(shí)長(zhǎng)不能精確到某個(gè)時(shí)段，所以策略下發(fā)成功率可能只有50%。

　　通過(guò)進(jìn)一步的研究，我們發(fā)現(xiàn)可以通過(guò)用戶(hù)活躍時(shí)長(zhǎng)分布指標(biāo)來(lái)進(jìn)行更精準(zhǔn)的策略下發(fā)。比如晚高峰的時(shí)候，策略對(duì)某一些大區(qū)或者某一類(lèi)活躍用戶(hù)進(jìn)行預(yù)下載推送效果很好。

　　用戶(hù)活躍時(shí)長(zhǎng)其實(shí)在很早以前的產(chǎn)品運(yùn)營(yíng)數(shù)據(jù)里就有。但如果沒(méi)有長(zhǎng)期深入的研究，誰(shuí)會(huì)想到會(huì)跟下載數(shù)據(jù)、在線恢復(fù)時(shí)長(zhǎng)數(shù)據(jù)等有如此緊密的關(guān)聯(lián)?這在傳統(tǒng)的運(yùn)維工作中很難想象。

　　除了這兩點(diǎn)，在線恢復(fù)時(shí)長(zhǎng)優(yōu)化中，我們還時(shí)刻關(guān)注游戲內(nèi)玩家的掉線率，依托藍(lán)鯨平臺(tái)提供的各類(lèi)工具，我們可以實(shí)時(shí)監(jiān)控，與開(kāi)發(fā)人員定位問(wèn)題，如遇程序Bug，爭(zhēng)取晚高峰來(lái)臨前修復(fù)問(wèn)題，從而保證整體在線穩(wěn)定。

　　我們從12年開(kāi)始進(jìn)行建設(shè)，包括去歸納整個(gè)騰訊游戲用戶(hù)生命周期的線路，從而形成了整個(gè)騰訊游戲運(yùn)維服務(wù)體系。我們就是依托于這樣的體系去進(jìn)行運(yùn)維服務(wù)建設(shè)的。

　　我們會(huì)把游戲的服務(wù)場(chǎng)景分為登陸服務(wù)、下載服務(wù)、版本服務(wù)、用戶(hù)體驗(yàn)服務(wù)、運(yùn)營(yíng)成本服務(wù)等等，每一種服務(wù)都有明確的定義以及數(shù)據(jù)衡量標(biāo)準(zhǔn)。

　　這個(gè)體系還在不斷完善當(dāng)中，將來(lái)可以作為游戲運(yùn)維服務(wù)標(biāo)準(zhǔn)的框架，希望能幫助到更多游戲行業(yè)的運(yùn)維同學(xué)更好服務(wù)于業(yè)務(wù)，也希望除了游戲之外，未來(lái)還會(huì)有更多的互聯(lián)網(wǎng)行業(yè)公司，可以從游戲的標(biāo)準(zhǔn)場(chǎng)景里獲得大家本行業(yè)的一些思考與實(shí)踐。

　　智能化運(yùn)維的探索

　　騰訊游戲技術(shù)運(yùn)營(yíng)的愿景是：“游戲智能化運(yùn)營(yíng)的領(lǐng)航者”。

　　對(duì)于智能運(yùn)維，我們認(rèn)為通過(guò)了之前的標(biāo)準(zhǔn)建設(shè)，通過(guò)了服務(wù)化建設(shè)之后我們有足夠的平臺(tái)，我們有這么多的業(yè)務(wù)數(shù)據(jù)，我們可以通過(guò)更好的閉環(huán)，通過(guò)更好的智能策略下發(fā)讓整個(gè)游戲的運(yùn)維服務(wù)更加智能。

　　在智能化的運(yùn)維服務(wù)里面，我們需要考慮這幾點(diǎn)：

　　1.業(yè)務(wù)數(shù)據(jù)的收集和清洗，經(jīng)過(guò)大量的收集以后，去進(jìn)行智能清洗以后才能找到每個(gè)不同業(yè)務(wù)的邏輯所需要的最核心的數(shù)據(jù)。

　　2.希望通過(guò)復(fù)雜的業(yè)務(wù)場(chǎng)景進(jìn)行智能分析，并且決策下發(fā)以及精準(zhǔn)推送，目前還是一些人工做的，這一部分我們相信在未來(lái)智能運(yùn)維服務(wù)里面不需要人工干預(yù)。

　　3.所有的運(yùn)維服務(wù)需要閉環(huán)自動(dòng)執(zhí)行，閉環(huán)對(duì)于我們運(yùn)維服務(wù)將成為基本要求。

　　4.運(yùn)維大數(shù)據(jù)影響產(chǎn)品運(yùn)營(yíng)決策，在去年分享里面講到運(yùn)維服務(wù)未來(lái)應(yīng)該影響到產(chǎn)品的決策，我們希望通過(guò)更多的運(yùn)維大數(shù)據(jù)分析，能幫助到產(chǎn)品的運(yùn)營(yíng)決策。在智能運(yùn)維里，成本和服務(wù)是互相兼顧的。

　　總結(jié)

　　騰訊游戲運(yùn)維通過(guò)標(biāo)準(zhǔn)化走向了服務(wù)化，目前正在智能化運(yùn)維方向不斷向前探索，我們相信只有智能化運(yùn)維實(shí)現(xiàn)后，運(yùn)維的自我能力與業(yè)務(wù)價(jià)值才能更好體現(xiàn)。

如何一起愉快地發(fā)展

“高效運(yùn)維”公眾號(hào)（如下二維碼）值得您的關(guān)注，作為高效運(yùn)維系列微信群的唯一官方公眾號(hào)，每周發(fā)表多篇干貨滿滿的原創(chuàng)好文：來(lái)自于系列群的討論精華、運(yùn)維講壇線上精彩分享及群友原創(chuàng)。“高效運(yùn)維”也是互聯(lián)網(wǎng)專(zhuān)欄《高效運(yùn)維最佳實(shí)踐》及運(yùn)維2.0官方公眾號(hào)。