如何在12個(gè)小時(shí)，搞定日志監(jiān)控？
日志監(jiān)控，是每個(gè)公司必須解決的一個(gè)問(wèn)題。創(chuàng)業(yè)型公司，如何用半天的時(shí)間，搞定一個(gè)可擴(kuò)展，通用的日志監(jiān)控框架，是今天要聊的話題。
什么是日志監(jiān)控?
關(guān)于日志，不同公司，情況不同：
(1) A類公司：沒有日志;
(2) B類公司：有日志，只有用戶說(shuō)系統(tǒng)掛了，或者有bug的時(shí)候，才會(huì)登錄到系統(tǒng)看看日志，大部分日志打印得對(duì)心所欲，缺乏組織性和系統(tǒng)性;
畫外音：很多時(shí)候，追查bug發(fā)現(xiàn)日志信息不全，要先上線一個(gè)有日志的版本，以幫助定位bug。
(3) C類公司：有日志，有日志規(guī)范，系統(tǒng)性的組織和收集了日志;
對(duì)日志進(jìn)行監(jiān)控，先于用戶發(fā)現(xiàn)系統(tǒng)的故障，實(shí)時(shí)告警，就是今天要討論的日志監(jiān)控問(wèn)題。
日志監(jiān)控有什么需求?
對(duì)于日志的監(jiān)控，一般有這么幾類需求：
(1) 某種級(jí)別的日志(例如FATAL級(jí)別，或者ERROR級(jí)別的日志)一旦出現(xiàn)，或者超過(guò)一定頻率，就告警;
(2) 包含某些特殊含義關(guān)鍵字(例如OutOfMemory，或者Exception)的異常日志，一旦出現(xiàn)，或者超過(guò)一定頻率，就告警;
(3) 包含某些特殊含義關(guān)鍵字(例如Login，或者Click)的正常日志，一旦一定時(shí)間周期沒有出現(xiàn)，就告警;
其中，前兩類需求，屬于異常日志監(jiān)控范疇，出現(xiàn)異常，實(shí)施告警。第三類需求，屬于正常日志監(jiān)控范疇，一定的時(shí)間沒有出現(xiàn)“正常”，就默認(rèn)異常，實(shí)施告警。
為什么不是一出現(xiàn)異常日志就告警呢?
避免抖動(dòng)引起的誤報(bào)，一般到達(dá)一定頻率才會(huì)告警，這屬于告警策略的一部分。
為什么說(shuō)，目錄與日志的規(guī)范化，是通用日志監(jiān)控的前提?
這是一個(gè)線上模塊的目錄示例：
- 有源代碼：hello.c
- 有可執(zhí)行文件：a.out
- 有配置文件：hello.conf
- 有備份日志：hello.log.2018012812
- 有日志：hello.log
- 有臨時(shí)文件：tmp
體會(huì)一下，運(yùn)維同學(xué)看到這樣的線上文件部署，是什么感受?
畫外音：沒見過(guò)源代碼直接部署到線上的?
有什么常見的目錄規(guī)范呢?
目錄規(guī)范化不但對(duì)日志監(jiān)控，對(duì)自動(dòng)化運(yùn)維都極為重要，要是線上目錄都瞎搞，幾乎沒有辦法實(shí)現(xiàn)自動(dòng)化運(yùn)維。
常見的目錄規(guī)范有兩類：
- 模塊優(yōu)先類目錄規(guī)范;
- 功能優(yōu)先類目錄規(guī)范;
什么是模塊優(yōu)先的目錄規(guī)范?
如上圖，以模塊名為優(yōu)先組織目錄：
- 根目錄下，有das，entry，logic三個(gè)模塊目錄;
- 在模塊目錄下，又分別有存放可執(zhí)行文件，配置文件，日志文件的bin目錄，conf目錄，以及l(fā)og目錄;
什么是功能優(yōu)先的目錄規(guī)范?
如上圖，以功能為優(yōu)先組織目錄：
- 根目錄下，二進(jìn)制目錄bin，配置文件目錄conf，日志目錄log;
- 功能目錄下，有das，entry，logic等不同模塊的目錄;
樓主旗幟鮮明的推薦第二種，功能優(yōu)先的目錄規(guī)范，對(duì)二進(jìn)制備份，配置備份，日志清理都非常方便。
有什么常見的日志規(guī)范呢?
日志規(guī)范化不但對(duì)日志監(jiān)控，對(duì)大數(shù)據(jù)體系建設(shè)都極為重要，需要考慮規(guī)范：
(1) 日志分級(jí)規(guī)范：不同級(jí)別的日志理應(yīng)打到不同的文件中，例如FATAL級(jí)，ERROR級(jí)，WARM級(jí)，LOG級(jí)，INFO級(jí)，DEBUG級(jí)：
- fatal.log
- error.log
- info.log
- debug.log
- …
(2) 日志切分規(guī)范：運(yùn)維應(yīng)該提供自動(dòng)化的日志切分工具，支持小時(shí)級(jí)別，或者天級(jí)別的日志切分，曾經(jīng)看過(guò)一個(gè)120G的access日志，從日志中g(shù)rep出某個(gè)uid的日志，是極其低效的：
- daojia.log.2018012800
- daojia.log.2018012801
- …
- daojia.log.2018012823
(3) 日志格式規(guī)范：日志格式規(guī)范是一個(gè)可展開的話題，此處不展開;
畫外音：是不是有小伙伴在思考，ca，自己怎么沒有這三類規(guī)范呢?
通用可擴(kuò)展日志監(jiān)控框架，有什么思路?
制訂了目錄規(guī)范，日志規(guī)范之后，要建立日志監(jiān)控框架，實(shí)施異常與正常的日志監(jiān)控，就簡(jiǎn)單多了，主要有集中式監(jiān)控，分散式監(jiān)控兩類思路。
什么是集中式日志監(jiān)控?
集中式的日志監(jiān)控，最流行的莫過(guò)于ELK：
- 各個(gè)機(jī)器節(jié)點(diǎn)上部署logstash，收集日志;
- 收集的日志匯總到ES;
- 通過(guò)Kibana做統(tǒng)一分析和展現(xiàn);
運(yùn)維的同學(xué)對(duì)這一套集中式日志監(jiān)控系統(tǒng)非常熟悉。
什么是分散式日志監(jiān)控？
ELK有點(diǎn)重，三套系統(tǒng)搭建與運(yùn)維起來(lái)比較麻煩，如果只是為了實(shí)現(xiàn)ERROR日志的監(jiān)控，異常關(guān)鍵字監(jiān)控，正常關(guān)鍵字監(jiān)控，有點(diǎn)殺雞用牛刀了。
與集中式的日志監(jiān)控相比，分散式的日志監(jiān)控，就顯得輕量級(jí)許多，非常適用與早期的創(chuàng)業(yè)型公司，其思路為：
- 通過(guò)日志監(jiān)控模塊，對(duì)不同集群，進(jìn)行ERROR日志閾值設(shè)置，進(jìn)行異常關(guān)鍵字設(shè)置，正常關(guān)鍵字設(shè)置;
- 日志監(jiān)控中心模塊，進(jìn)行統(tǒng)一調(diào)度，將配置分發(fā)到不同機(jī)器的agent節(jié)點(diǎn)上;
- agent節(jié)點(diǎn)模塊，并不統(tǒng)一收集日志，而是接收到監(jiān)控中心分發(fā)的log監(jiān)控配置，在各個(gè)機(jī)器上實(shí)施日志監(jiān)控，如果觸發(fā)日志監(jiān)控策略，立刻發(fā)起告警;
與ELK相比，這個(gè)日志監(jiān)控框架會(huì)簡(jiǎn)單的多，而且擴(kuò)展性非常好。
如何半天搞定日志監(jiān)控框架?
整個(gè)框架設(shè)計(jì)如上，大致分為三個(gè)部分：
(1)被監(jiān)控集群;
(2)基礎(chǔ)信息與服務(wù);
- cluster.info.xml：存儲(chǔ)集群信息
- owner.info.xml：存儲(chǔ)集群責(zé)任人信息
- mail.service/SM.service：告警基礎(chǔ)服務(wù)
(3)日志監(jiān)控框架; 集群信息與負(fù)責(zé)人信息，與前文描述的一樣。
集群配置cluster.info.conf
- [daojia_main]
- ip.list : ip1, ip2, ip3
- log.path : /home/work/log/daojia_main/
- owner.list : shenjian, zhangsan
- [daojia_user]
- ip.list : ip4, ip5, ip6
- log.path : /home/work/log/daojia_user/
- owner.list : shenjian
責(zé)任人配置owner.info.conf
- [shenjian]
- email : XX@XX.com
- phone :15912345678
- [zhangsan]
- email : YY@YY.com
- phone :18611220099
日志監(jiān)控框架又分為兩個(gè)模塊：
可擴(kuò)展監(jiān)控配置文件log.monitor.conf
- [log.monitor.item]
- cluster.name : daojia_main
- # error日志監(jiān)控，每分鐘超過(guò)此閾值就告警
- error.log. threshold : 10
- # 異常關(guān)鍵字監(jiān)控，日志出現(xiàn)這些關(guān)鍵字就告警
- bad.key : exeption | timeout | coredump
- # 正常關(guān)鍵字監(jiān)控，日志每分鐘不出現(xiàn)這些關(guān)鍵字就告警
- good.key : login | user | click
- [log.monitor.item]
- cluster.name : daojia_user
- error.log.threshold : 10
日志監(jiān)控調(diào)度框架，這里需要編碼啦，偽代碼如下：
- Array[log-monitor] A1= Parse(log.monitor.config);
- Array[cluster-info] A2= Parse(cluster.info.config);
- Array[owner-info] A3= Parse(owner.info.config);
- // 遍歷所有監(jiān)控項(xiàng)
- for(each item in A1){
- //取出監(jiān)控項(xiàng)的集群名，閾值，異常/正常關(guān)鍵詞
- clusterName= item.clusterName;
- threshold= item.threshold;
- badKey= item.badkey;
- goodKey= item.goodkey;
- //由集群名，獲取集群信息
- clusterInfo= A2[clusterName];
- //獲取日志目錄，集群ip列表，集群負(fù)責(zé)人列表
- logPath= clusterInfo.path;
- List<String>ips = clusterInfo.ip;
- List<String>owners = clusterinfo.owner;
- //集群內(nèi)的每一個(gè)ip實(shí)例，都需要日志監(jiān)控
- for(each ip in ips){
- //登錄到這一臺(tái)機(jī)器
- ssh $ip
- //跳到相關(guān)的目錄下
- cd $logPath
- //查看近一分鐘error日志數(shù)量
- $count= `grep $time error.log | wc -l`
- //查看badkey與goodkey
- $boolBad= `grep $badkey *`
- $boolGood= `grep $goodkey *`
- if($count< threshold &&
- $boolBad==NO &&
- $boolGood==YES){
- //正常，繼續(xù)監(jiān)控
- continue;
- }
- // 否則，對(duì)所有集群負(fù)責(zé)人發(fā)送告警
- for(each owner in owners){
- // 略…
- }
- }
- }
一個(gè)簡(jiǎn)單的調(diào)度框架，看明白了嗎?
【本文為51CTO專欄作者“58沈劍”原創(chuàng)稿件，轉(zhuǎn)載請(qǐng)聯(lián)系原作者】
