大數(shù)據(jù)作為趨勢(shì)是任何一個(gè)企業(yè)都逃脫不了的宿命。大數(shù)據(jù)架構(gòu)和傳統(tǒng)架構(gòu)有著天壤之別。對(duì)于運(yùn)維人員來(lái)說(shuō)，大數(shù)據(jù)時(shí)代的運(yùn)維應(yīng)該從傳統(tǒng)運(yùn)維轉(zhuǎn)變到業(yè)務(wù)運(yùn)維中去。然而對(duì)業(yè)務(wù)指標(biāo)的監(jiān)控也區(qū)別于對(duì)機(jī)器的監(jiān)控，對(duì)業(yè)務(wù)的監(jiān)控和告警方式也千差萬(wàn)別。企業(yè)運(yùn)維人員該如何應(yīng)對(duì)呢？

在WOT2016互聯(lián)網(wǎng)運(yùn)維與開發(fā)者大會(huì)現(xiàn)場(chǎng)，51CTO記者獨(dú)家專訪到極光推送高級(jí)Hadoop工程師許俊。讓我們通過(guò)本文一起了解，他是如何基于業(yè)務(wù)運(yùn)維的思維導(dǎo)向，構(gòu)建極光推送大數(shù)據(jù)架構(gòu)下的運(yùn)維監(jiān)控告警系統(tǒng)的；在許俊眼中，業(yè)務(wù)運(yùn)維與傳統(tǒng)運(yùn)維的理念和實(shí)現(xiàn)上又存在著哪些差異。

嘉賓簡(jiǎn)介

[[165331]]

許俊，高級(jí)Hadoop工程師，大數(shù)據(jù)平臺(tái)負(fù)責(zé)人。極光推送首位大數(shù)據(jù)工程師，見證并負(fù)責(zé)整個(gè)極光推送大數(shù)據(jù)平臺(tái)的演進(jìn)，目前負(fù)責(zé)Hadoop平臺(tái)，流計(jì)算系統(tǒng)、圖數(shù)據(jù)庫(kù)服務(wù)、spark算法平臺(tái)等基礎(chǔ)數(shù)據(jù)平臺(tái)。在Hadoop運(yùn)維開發(fā)，大規(guī)模分布式計(jì)算平臺(tái)領(lǐng)域有著豐富經(jīng)驗(yàn)。

可視化的智能運(yùn)維監(jiān)控系統(tǒng)

極光推送的大數(shù)據(jù)平臺(tái)基于Hadoop集群實(shí)現(xiàn)。開始時(shí)由于部署在集群上的業(yè)務(wù)少、數(shù)據(jù)少，只采用了Zabbix對(duì)機(jī)器的基本指標(biāo)進(jìn)行監(jiān)控，往往要到第二天接到業(yè)務(wù)部門的反饋才知道集群出現(xiàn)了問(wèn)題。

隨著業(yè)務(wù)程序越來(lái)越多，越來(lái)越復(fù)雜，對(duì)于指標(biāo)的監(jiān)控要求也越來(lái)越高。發(fā)展到現(xiàn)在，簡(jiǎn)單的指標(biāo)監(jiān)控已經(jīng)不能滿足要求，出現(xiàn)了越來(lái)越多的類似 “平均值”、“***值”、“求和” 等更靈活多樣的需求。目前，極光推送采用的Grafana+Graphite+Statsd+Cabot這四個(gè)組件，構(gòu)建一套更通用并且功能更豐富的監(jiān)控系統(tǒng)。Graphite作為整個(gè)架構(gòu)的核心，提供源數(shù)據(jù)的接收、數(shù)據(jù)的存儲(chǔ)和數(shù)據(jù)展示功能；Statsd是作為數(shù)據(jù)的收集和數(shù)據(jù)的聚合，以及部分的數(shù)據(jù)負(fù)載均衡的操作；Cabot是作為整個(gè)系統(tǒng)的告警部分，來(lái)對(duì)接到極光推送自己的告警系統(tǒng);Grafana是作為監(jiān)控系統(tǒng)UI這一層的方案。

問(wèn)題的監(jiān)控告警及風(fēng)險(xiǎn)預(yù)估

日志收集方面，極光推送主要是用Flume。許俊談到，F(xiàn)lume除了能把原始的日志收集到ES外，還能將一些不是原始文件的日志對(duì)接到Kafka數(shù)據(jù)中心。另外，通過(guò)與Elasticsearch的配合，F(xiàn)lume能非常容易地把數(shù)據(jù)拉到想要的目的地，而不需要像使用ES時(shí)那樣，做一些具體的分析和挖掘，非常便于問(wèn)題的發(fā)現(xiàn)。

對(duì)于如何進(jìn)一步挖掘這些日志數(shù)據(jù)的價(jià)值，許俊談到，他們希望通過(guò)對(duì)業(yè)務(wù)指標(biāo)的監(jiān)控，及時(shí)地發(fā)現(xiàn)并處理問(wèn)題，甚至是對(duì)風(fēng)險(xiǎn)進(jìn)行預(yù)盼，這也是做監(jiān)控和告警的目的。實(shí)現(xiàn)這項(xiàng)工作，就需要更加詳盡地獲取或提供這些業(yè)務(wù)方面的指標(biāo)，并將其對(duì)接到監(jiān)控系統(tǒng)里，并通過(guò)一些基本功能，讓業(yè)務(wù)方更加直觀、方便地掌據(jù)自身業(yè)務(wù)各方面的具體情況，從而有針對(duì)性地進(jìn)行一些優(yōu)化和改進(jìn)，比如及時(shí)進(jìn)行擴(kuò)容、負(fù)載均衡等。

以Redis內(nèi)存為例。傳統(tǒng)運(yùn)維可能更加關(guān)注Redis使用內(nèi)存有沒有達(dá)到預(yù)設(shè)值，但通過(guò)現(xiàn)在這樣的系統(tǒng)，業(yè)務(wù)方就能夠非常輕松地觀察到在整個(gè)歷史時(shí)間內(nèi)，Redis實(shí)際占用內(nèi)存的增長(zhǎng)速度和比例。這樣系統(tǒng)就能在它達(dá)到設(shè)置的預(yù)值之前發(fā)出預(yù)警，提前進(jìn)行擴(kuò)容方面的工作，而不是等到問(wèn)題發(fā)生的那個(gè)時(shí)間點(diǎn)，為業(yè)務(wù)發(fā)展起到有力的支撐。

談及結(jié)合業(yè)務(wù)發(fā)展的需求對(duì)極光推送大數(shù)據(jù)架構(gòu)運(yùn)維的優(yōu)化方向，許俊分享到，要整合大數(shù)據(jù)各組件的通用監(jiān)控告警系統(tǒng)，實(shí)現(xiàn)與調(diào)度等系統(tǒng)的結(jié)合，從監(jiān)控、警告的階段演進(jìn)為回復(fù)和預(yù)警。通用監(jiān)控告警系統(tǒng)就像JVM對(duì)于Java一樣，可以讓業(yè)務(wù)方基于一些通用的標(biāo)準(zhǔn)或者協(xié)議，把資料統(tǒng)一寫好，定制好，然后直接與監(jiān)控系統(tǒng)對(duì)接，來(lái)減少對(duì)各組件運(yùn)維的重復(fù)勞動(dòng)。

業(yè)務(wù)運(yùn)維是對(duì)傳統(tǒng)運(yùn)維的有效補(bǔ)充

在采訪***，許俊再次強(qiáng)調(diào)，對(duì)大數(shù)據(jù)業(yè)務(wù)的監(jiān)控與傳統(tǒng)的機(jī)器和集群監(jiān)控一個(gè)顯著的區(qū)別是，運(yùn)維關(guān)注的層面更高，關(guān)注點(diǎn)更超前，強(qiáng)調(diào)在問(wèn)題出現(xiàn)之前，就去根據(jù)一些變化趨勢(shì)去發(fā)現(xiàn)問(wèn)題，某種意義上來(lái)講，也是對(duì)傳統(tǒng)運(yùn)維的一個(gè)有效的補(bǔ)充。

建議大家選用一些常見的、通用的運(yùn)維監(jiān)控方案，比如基于運(yùn)維人員非常熟悉的Python語(yǔ)言設(shè)計(jì)出的一些方案。因?yàn)镻ython的生態(tài)圈非常發(fā)達(dá)，這樣一方面可以以非常低的成本去維護(hù)和定制我們需要的組件，另外一方面也能夠讓我們非常容易的找到相應(yīng)的組件，來(lái)滿足我們的需求。