Shell腳本實戰：日志關鍵字監控+自動告警
作者：運維之道中道
主要用于Linux服務器監控程序日志，如出現關鍵字異常則觸發相應的動作或告警操作，通知到郵件聯系人。
該程序使用場景說明：主要用于Linux服務器監控程序日志，如出現關鍵字異常則觸發相應的動作或告警操作，通知到郵件聯系人。
一、安裝郵件服務
1、解壓
- tar -jxf mailx-12.4.tar.bz2 -C /usr/src/ && cd /usr/src/mailx-12.4/
2、編譯
- make install UCBINSTALL=/usr/bin/install
異常編譯報錯-1
異常報錯解決方法
下載mailx補丁文件“mailx-12.4-openssl_1.0.0_build_fix-1.patch”，將補丁文件和mailx解壓縮目錄放置同一路徑
執行打補丁命令：
- patch -p0 < mailx-12.4-openssl_1.0.0_build_fix-1.patch
進入mailx-12.4重新執行編譯命令：
- make install UCBINSTALL=/usr/bin/install
檢測mailx是否安裝成功：mailx -V
3、配置
vi /etc/nail.rc，在文件的最后添加
set from=
set smtp=
set smtp-auth-user=
set smtp-auth-password=
set smtp-auth=login
如下圖所示，修改配置完后保存
4、測試發送郵件
echo '郵件正文'|mailx -v -s "郵件標題" 郵箱地址
至此郵件功能測試正常，接下來是關鍵字監控腳本的編寫工作，通過日志關鍵字腳本觸發郵件告警腳本實現日志監控
二、關鍵字監控腳本開發
CheckLogs.sh 日志監控程序
SendMail.sh 發郵件腳本,該腳本可自定義
conf 配置文件目錄,chklist為配置文件
初次執行CheckLogs.sh腳本會讀取日志文件并記錄當前讀取的行數
后續運行腳本則讀取更新日志，例如當前日志更新了9行數據，則腳本從最新的9行數據獲取關鍵字
測試插入關鍵字error
繼續執行腳本可以看到已捕獲關鍵字并觸發告警
測試多關鍵字
再次執行可以看到已捕獲最新更新的日志信息
測試頻率控制
至此相關功能測試已完成。最后附上腳本相關代碼如下：
- #!/bin/bash
- basedir=$(cd `dirname "$0"`;pwd)
- logsdir=$basedir/logs
- tmpsdir=$basedir/tmps
- confdir=$basedir/conf
- chkfile=$confdir/chklist
- logfile=$logsdir/log.log_$(date +%F)
- #創建各種目錄
- mkdir -p $logsdir $tmpsdir $confdir
- #創建配置文件
- if test ! -e "$chkfile";then
- echo "#日志文件,關鍵字(多關鍵字|隔開),重試次數,最大執行次數,啟動命令,停止命令" >$chkfile
- fi
- #生成日志函數
- do_writelog() {
- case $1 in
- i|I)
- shift
- echo "$(date +%Y-%m-%d) $(date +%H:%M:%S)|INFO|$@" >>$logfile
- ;;
- e|E)
- shift
- echo "$(date +%Y-%m-%d) $(date +%H:%M:%S)|ERROR|$@" >>$logfile
- ;;
- w|W)
- shift
- echo "$(date +%Y-%m-%d) $(date +%H:%M:%S)|WARNING|$@" >>$logfile
- ;;
- *)
- echo "$(date +%Y-%m-%d) $(date +%H:%M:%S)|DEBUG|$@" >>$logfile
- esac
- }
- #日志處理部分代碼
- cat $chkfile|egrep -v "^($|#)"|while read i;do
- (
- app_name=$(echo "$i"|awk -F, '{print $1}')
- if test -z "$app_name";then
- do_writelog e "應用名稱為空,退出執行"
- exit 0
- fi
- log_filename=$(echo "$i"|awk -F, '{print $2}')
- if test ! -e "$log_filename";then
- do_writelog e "日志文件($log_filename)不存在,退出執行"
- exit 0
- fi
- log_md5sum=$(echo -n "$log_filename"|md5sum|awk '{print $1}')
- log_gjz=$(echo "$i"|awk -F, '{print $3}')
- if test -z "$log_gjz";then
- do_writelog i "日志文件($log_filename),關鍵字為空,退出執行"
- exit 0
- fi
- log_retry=$(echo "$i"|awk -F, '{print $4}')
- expr $log_retry + 0 &>/dev/null
- if [ $? -ne 0 ];then
- log_retry=0
- fi
- log_max=$(echo "$i"|awk -F, '{print $5}')
- expr $log_max + 0 &>/dev/null
- if [ $? -ne 0 ];then
- log_max=3
- fi
- start_command=$(echo "$i"|awk -F, '{print $6}')
- stops_command=$(echo "$i"|awk -F, '{print $7}')
- open_sendmail=$(echo "$i"|awk -F, '{print $8}')
- mail_scripts=$(echo "$i"|awk -F, '{print $9}')
- mail_contacts=$(echo "$i"|awk -F, '{print $10}')
- if [ $open_sendmail -eq 1 ];then
- if test -z "$mail_scripts";then
- do_writelog i "應用($app_name),觸發動作腳本為空,退出執行"
- exit 0
- fi
- if test -z "$mail_contacts";then
- do_writelog i "應用($app_name),聯系人為空,退出執行"
- exit 0
- fi
- fi
- if test ! -e "$tmpsdir/$log_md5sum";then
- log_new_count=$(wc -l $log_filename|awk '{print $1}')
- echo "$log_new_count" >$tmpsdir/$log_md5sum
- do_writelog i "日志文件($log_filename),初始化讀取日志行數:$log_new_count,退出執行"
- else
- log_old_count=$(cat $tmpsdir/$log_md5sum)
- expr $log_old_count + 0 &>/dev/null
- if [ $? -ne 0 ];then
- do_writelog e "日志文件($log_filename),讀取歷史行數失敗,退出執行"
- exit 0
- fi
- log_new_count=$(wc -l $log_filename|awk '{print $1}')
- if [ $log_new_count -eq $log_old_count ];then
- do_writelog i "日志文件($log_filename),未更新,退出執行"
- exit 0
- elif [ $log_new_count -lt $log_old_count ];then
- do_writelog i "日志文件($log_filename),跨日更新日志行數:$log_new_count,退出執行"
- echo "$log_new_count" >$tmpsdir/$log_md5sum
- else
- log_upd_count=$(expr $log_new_count - $log_old_count)
- do_writelog i "日志文件($log_filename),歷史行數:$log_old_count,最新行數:$log_new_count,更新行數:$log_upd_count"
- #讀取更新的日志
- log_content=$(tail -n +`expr $log_old_count + 1` $log_filename|head -n +$log_upd_count)
- oldIFS=$IFS
- IFS="|"
- count=0
- for i in $log_gjz;do
- if [ $(echo "$log_content"|grep -c -w "$i") -ge 1 ];then
- let count+=1
- fi
- if [ $count -gt 0 ];then
- break
- fi
- done
- IFS=$oldIFS
- if [ $count -gt 0 ];then
- echo "0" >>$tmpsdir/${log_md5sum}.retry
- else
- do_writelog i "日志文件($log_filename),未獲取到關鍵字,退出執行"
- echo "$log_new_count" >$tmpsdir/$log_md5sum
- exit 0
- fi
- if [[ $(wc -l $tmpsdir/${log_md5sum}.retry|awk '{print $1}') -gt $log_retry ]];then
- echo "0" >>$tmpsdir/${log_md5sum}_$(date +%F)
- if [ $(wc -l $tmpsdir/${log_md5sum}_$(date +%F)|awk '{print $1}') -le $log_max ];then
- $stops_command 1>>$logfile 2>&1
- $start_command 1>>$logfile 2>&1
- do_writelog i "日志文件($log_filename),日志內容:$log_content,找到關鍵字:$i,停止命令:$stops_command,啟動命令:$start_command,重啟服務"
- if [ $open_sendmail -eq 1 ];then
- if test -n "$mail_scripts";then
- $mail_scripts "應用[$app_name]故障" "日志文件($log_filename),日志內容:$log_content,找到關鍵字:$i" "$mail_contacts" 1>>$logfile 2>&1
- if [ $? -ne 0 ];then
- do_writelog i "日志文件($log_filename),日志內容:$log_content,找到關鍵字:$i,觸發告警失敗"
- fi
- do_writelog i "日志文件($log_filename),日志內容:$log_content,找到關鍵字:$i,觸發告警通知聯系人:[$mail_contacts]"
- fi
- else
- do_writelog i "日志文件($log_filename),日志內容:$log_content,找到關鍵字:$i,不觸發告警"
- fi
- else
- do_writelog i "日志文件($log_filename),日志內容:$log_content,找到關鍵字:$i,重啟服務超出當天限制次數:$log_max,退出執行"
- fi
- rm -f $tmpsdir/${log_md5sum}.retry &>/dev/null
- else
- do_writelog i "日志文件($log_filename),日志內容:$log_content,找到關鍵字:$i,重試檢測:$(wc -l $tmpsdir/${log_md5sum}.retry|awk '{print $1}')"
- fi
- echo "$log_new_count" >$tmpsdir/$log_md5sum
- do_writelog i "日志文件($log_filename),更新記次文件完成"
- fi
- fi
- )&
- done
責任編輯：龐桂玉
來源：
Linux學習
