[[352366]]

前言

正則表達(dá)式對于系統(tǒng)管理員來說是非常重要的，熟練運用正則表達(dá)式可使工作變得更加簡單、方便。

一、正則表達(dá)式概述

正則表達(dá)式定義

正則表達(dá)式，又稱正規(guī)表達(dá)式、常規(guī)表達(dá)式

使用字符串來描述、匹配一系列符合某個規(guī)則的字符串

簡單來說，是一種匹配字符串的方法，通過一些特殊符號，實現(xiàn)快速查找、刪除、替換某個特定字符串。

正則表達(dá)式組成

普通字符：大小寫字母、數(shù)字、標(biāo)點符號及一些其他符號

元字符：在正則表達(dá)式中具有特殊意義的專用字符

正則表達(dá)式的用途

正則表達(dá)式對于系統(tǒng)管理員來說是非常重要的，系統(tǒng)運行過程中會產(chǎn)生大量的信息，這些信息有些是非常重要的，有些則僅是告知的信息。身為系統(tǒng)管理員如果直接看這么多的信息數(shù)據(jù)，無法快速定位到重要的信息，如“用戶賬號登錄失敗”“服務(wù)啟動失敗”等信息。這時可以通過正則表達(dá)式快速提取“有問題”的信息。如此一來，可以將運維工作變得更加簡單、方便。

正則表達(dá)式分類

基礎(chǔ)正則表達(dá)式

擴(kuò)展正則表達(dá)式

Linux中文本處理工具

支持基礎(chǔ)正則表達(dá)式：grep；sed

支持?jǐn)U展正則表達(dá)式：egrep；awk

基礎(chǔ)正則表達(dá)式元字符

基礎(chǔ)正則表達(dá)式是常用的正則表達(dá)式部分

除了普通字符外，常見到以下元字符 

■ \  ：轉(zhuǎn)義字符，\!、 \n等     #讓特殊意義的元字符作普通字符使用  
■ ^ ：匹配字符串開始的位置  
例: ^a、 ^the、 ^#  
■ $ ：匹配字符串結(jié)束的位置  
例: word$  
■  . ：匹配除\n之外的任意的一個字符  
 例: go.d、 g..d  
■  * ：匹配前面子表達(dá)式0次或者多次  
 例: goo*d、 go.*d  
■ [list] ：匹配list列表中的一個字符  
 例: go[ola]d 、[abc]、 [a-z]、 [a-z0-9]  
■ [^list] ：匹配任意不在list列表中的一個字符  
 例: [^a-z]、 [^0-9]、 [^A-Z0-9]  
■ \{n,m\} ：匹配前面的子表達(dá)式n到m次，有\(zhòng){n\}、 \{n,\}、\{n,m\}三種格式  
 例: go\{2\}d、 go\{2,3\}d、 go\{2,\}d  
 注意：“o｛1,}” 等價于 “o+”  ；“o{0,}” 則等價于 “o*” 

二、grep 命令

2.1 grep的使用規(guī)則:

•  -n：表示顯示行號
•  -i ：表示不區(qū)分大小寫
•  -v：表示反向過濾
•  [ ]：查找集合字符

2.2 用法示例 

grep -n 'the' test.txt     #文件檢索出帶‘the’的行并顯示行號  
grep -vn 'the' test.txt   #文件反向檢索出不帶‘the’的行并顯示行號  
grep -n 'sh[oi]rt' test.txt  #文件檢索出帶‘short’或‘shirt‘的行并顯示行號  
grep -n 'oo' test.txt   #文件檢索出至少帶連續(xù)oo的行并顯示行號  
grep -n 'o\{2\}' test.txt   #文件檢索出至少帶連續(xù)oo的行并顯示行號  
grep -n 'o\{2,\}' test.txt   #文件檢索出至少帶連續(xù)oo的行并顯示行號  
grep -n '[^w]oo' test.txt   #文件檢索出連續(xù)oo前面不帶w的行并顯示行號  
grep -n '^[^w]oo' test.txt  #文件檢索出除w外，任意*oo開頭的行并顯示行號  
grep -n ' [^a-z]oo ' test.txt  #文件檢索出連續(xù)oo前面不是小寫字母的行并顯示行號  
grep -n '[0-9]' test.txt    #文件檢索出包含數(shù)字的行并顯示行號  
grep -n '[^0-9]' test.txt  #文件檢索出不包含純數(shù)字的行并顯示行號，非純數(shù)字也會匹配  
grep -n '[^#]' test.txt   #文件檢索出不包含#的行并顯示行號  
grep -n '^the' test.txt  #文件檢索出以‘the’開頭的行并顯示行號  
grep -n ‘^[a-z] ' test.txt   #文件檢索出以小寫字母開頭的行并顯示行號  
grep -n ‘^[A-Z] ' test.txt   #文件檢索出以大寫字母開頭的行并顯示行號  
grep -n '^[^a-zA-Z]' test.txt   #文件檢索出不以字母開頭的行并顯示行號  
grep -n '\.$' test.txt  #文件檢索出以 . 號結(jié)尾的行并顯示行號  
grep -n '^$' test.txt   #文件檢索出空行并顯示行號  
grep -n 'w..d' test.txt  #文件檢索出帶有w開頭，d結(jié)尾，中間兩個任意字符的行并顯示行號  
grep -n 'ooo*' test.txt  #文件檢索出帶有連續(xù)oo或兩個0以上的行并顯示行號  
grep -n 'oo*' test.txt  #文件檢索出帶有o或一個0以上的行并顯示行號  
grep -n 'w.*d' test.txt   #文件檢索出帶有w開頭，d結(jié)尾，中間任意字符也可中間什么也沒有的行并顯示行號  
grep -n '[0-9][0-9]*' test .txt  #文件檢索出帶有數(shù)字的行并顯示行號 

三、sed 工具

sed(StreamEDitor)

一個強大而簡單的文本解析轉(zhuǎn)換工具，可以讀取文本，并根據(jù)指定的條件對文本內(nèi)容進(jìn)行編輯(刪除、替換、添加、移動等)，最后輸出所有行或者僅輸出處理的某些行。

3.1 sed 工具使用規(guī)則

sed的工作流程

主要包括讀取、執(zhí)行和顯示三個過程

讀取: sed從輸入流(文件、管道、標(biāo)準(zhǔn)輸入)中讀取一-行內(nèi)容并存儲到臨時的緩沖區(qū)中(又稱模式空間，pattern space）

執(zhí)行: 默認(rèn)情況下，所有的sed命令都在模式空間中順序地執(zhí)行，除非指定了行的地址，否則sed命令將會在所有的行上依次執(zhí)行。

顯示: 發(fā)送修改后的內(nèi)容到輸出流。在發(fā)送數(shù)據(jù)后，模式空間將會被清空。在所有的文件內(nèi)容都被處理完成之前，上述過程將重復(fù)執(zhí)行，直至所有內(nèi)容被處理完。

注意：默認(rèn)情況下所有的sed命令都是在模式空間內(nèi)執(zhí)行的，因此輸入的文件并不會發(fā)生任何變化，除非是用重定向存儲輸出。

sed命令常見用法 

sed [選項] ‘操作’ 參數(shù)  
sed [選項] -f scriptfile 參數(shù) 

常見的sed命令選項

•  -e script: 指定sed編輯命令
•  -f scriptfile: 指定的文件中是sed編輯命令
•  -h或–help: 顯示幫助
•  -n、–quiet或silent:表示僅顯示處理后的結(jié)果。
•  -i: 直接編輯文本文件

常見sed命令的操作

•  a: 增加，在當(dāng)前行下面增加一行指定內(nèi)容。
•  c: 替換，將選定行替換為指定內(nèi)容。
•  d: 刪除，刪除選定的行。
•  i: 插入，在選定行上面插入一行指定內(nèi)容。
•  p: 打印，如果同時指定行，表示打印指定行;如果不指定行，則表示打印所有內(nèi)容;如果有非打印字符，則以ASCII碼輸出。其通常與“-n”選項一起使用。
•  s: 替換，替換指定字符。
•  y: 字符轉(zhuǎn)換。
•  p:n #奇數(shù)行
•  n:p #偶數(shù)行

3.2 用法示例

1、輸出符合條件的文本(p表示正常輸出）

nl test.txt | sed -n ‘p’ #輸出test.txt內(nèi)容，nl是顯示行號和內(nèi)容，為的是輸出結(jié)果帶上行號 

nl test.txt | sed -n '3p'   #輸出test.txt內(nèi)容第三行帶行號  
nl test.txt | sed -n '2,5p'   #輸出test.txt內(nèi)容二到五行帶行號  
nl test.txt | sed -n 'p:n'   #輸出test.txt內(nèi)容奇數(shù)行帶行號，要先刪除空格  
nl test.txt | sed -n 'n:p'   #輸出test.txt內(nèi)容偶數(shù)行帶行號，要先刪除空格  
nl test.txt | sed -n '1,5{p;n}'  #輸出test.txt內(nèi)容奇數(shù)行1~5行帶行號  
nl test.txt | sed -n '1,10{n;p}'  #輸出test.txt內(nèi)容偶數(shù)行1~10行帶行號  
nl test.txt l sed -n '10,${n; p}'  #輸出test.txt內(nèi)容10行到最后一行的偶數(shù)行帶行號  
sed -n '/the/p' test.txt     #輸出test.txt帶the的內(nèi)容  
grep -n 'the' test.txt   #文件檢索出帶‘the’的行并顯示行號 
nl test.txt | sed -n '4,/the/p'    #輸出test.txt內(nèi)容4行以后帶‘the’的行帶行號  
sed -n '/the/=' test.txt   #輸出帶‘the’的行的行號  
sed -n '/^PI/p' test.txt     #查找以‘PI’開頭的行輸出  
sed -n '/[0-9]$/p' test.txt   #查找以數(shù)字結(jié)尾的行輸出  
grep 'wood' test.txt   #查找?guī)?lsquo;wood’的行輸出  
sed -n '/\<wood\>/p' test.txt    #輸出包含‘wood’的行，\< \>代表單詞邊界 

2、刪除符合條件的文本 （d） #只刪除輸出流，不刪除源文件

nl 命令用于計算文件的行數(shù)和顯示內(nèi)容 

nl test.txt | sed '3d'        #刪除文本第三行  
nl test.txt | sed '3,5d'        #刪除文本第三到第五行  
nl test.txt l sed -n '/cross/p'     #查找?guī)?lsquo;cross’的行輸出帶行號  
nl test.txt l sed  '/cross/d'     #刪除帶‘cross’的行  
nl test.txt l sed  '/cross/!d'     #！取反，保留帶‘cross’的行  
sed '/^[a-z]/d' test.txt | nl  #刪除以小寫字母開頭的行，結(jié)果顯示行號  
sed '/^[a-z]/d' test.txt     #刪除以小寫字母開頭的行  
sed -n '/\.$/d' test.txt   #刪除以 . 號結(jié)尾的行  
sed 'p' test.txt    #所有內(nèi)容輸出  
sed '/^$/d' test. txt   #刪除空行  
sed '/.$/d' test.txt   #刪除任意字符結(jié)尾的行，等于全刪 

3、替換符合條件的文本

使用 sed 命令進(jìn)行替換操作時需要用到 s (字符串替換)；c (整行/整塊替換)；y (字符轉(zhuǎn)換) 命令選項 

sed 's/the/THE/' test.txt    #將每行中的第一個the替換為THE  
sed 's/1/L/2' test.txt    #將每行中的第2個1替換為L  
sed 's/the/THE/g' test.txt     #將文件中的所有the替換為THE  
sed 's/o//g' test.txt     #將文件中的所有o刪除(替換為空串)  
sed 's/^/#' test.txt      #在每行行首插入#號  
sed '/the/s/^/#/' test.txt    #在包含the 的每行行首插入#號  
sed 's/$/EOF/' test.txt    #在每行行尾插入字符串 EOF  
sed '3,5s/the/THE/g' test.txt    #將第3~5 行中的所有the替換為 THE  
sed '/the/s/o/0/g'test.txt    #將包含the的所有行中的o都替換為O 

4、遷移符合條件的文本

在使用sed 命令遷移符合條件的文本時，常用到以下參數(shù)：

•  H：復(fù)制到剪貼板;
•  g、G：將剪貼板中的數(shù)據(jù)覆蓋/追加至指定行
•  w ：保存為文件
•  r ：讀取指定文件
•  a：追加指定內(nèi)容。 

sed '/the/{H; d};$G' test.txt     #將包含the 的行遷移至文件末尾,{;}用于多個操作  
sed '1,5 {H; d};17G' test.txt   #將第1~5 行內(nèi)容轉(zhuǎn)移至第17行后  
sed '/the/w out.file' test.txt    #將包含the 的行另存為文件 out.file  
sed '/the/r /etc/hostname' test.txt   #將文件/etc/hostname 的內(nèi)容添加到包含 the 的每行以后  
sed '3aNew' test.txt   #在第3行后插入一個新行,內(nèi)容為New  
sed '/the/aNew' test.txt   #在包含the的每行后插入一個新行,內(nèi)容為New  
sed '3aNew1\nNew2' test.txt  #在第3行后插入多行內(nèi)容,中間的\n表示換行  
注:\n和\r的區(qū)別:  
\n:換行符  是另起一新行  
\r :回車符  光標(biāo)回到一舊行的開頭; 

5、使用腳本編輯文件

使用sed腳本將多個編輯指令存放到文件中(每行一條編輯指令），通過“-f”選項來調(diào)用。 

[root@client2 ~]# vi opt.list    #建立一個文件  
5H       #文件內(nèi)是sed的操作  
5d  
16G  
[root@client2 ~]# sed -f opt.list test.txt      #對test.txt進(jìn)行操作 

6、sed直接操作文件示例

編寫一個腳本，用來調(diào)整vsftpd 服務(wù)配置，要求禁止匿名用戶，但允許本地用戶 

[root@server2 ~]# useradd dada  
[root@server2 ~]# passwd dada  
[root@server2 ~]# useradd xiaoxiao  
[root@server2 ~]# passwd xiaoxiao  
[root@server2 ~]# vi ftp.sh  
#!/bin/bash  
A=vsftpd  
FTP=/etc/vsftpd/vsftpd.conf  
yum -y install $A  
sed -i -e '/local_enable/s/NO/YES/g' $FTP  
sed -i -e '/write_enable/s/NO/YES/g' $FTP  
sed -i -e 's/^#chroot_local_user=YES/chroot_local_user=YES/g' $FTP  
sed -i  '$aallow_writeable_chroot=YES' $FTP  
sed -i -e '/listen/s/NO/YES/g' $FTP  
sed -i -e '/listen_ipv6/s/YES/NO/g' $FTP  
systemctl start $A  
netstat -anpt | grep $A  
[root@server2 ~]# chmod +x ftp.sh  
[root@server2 ~]# ./ftp.sh 

客戶機上安裝ftp進(jìn)行訪問 

[root@server1 ~]# yum -y install ftp  
[root@server1 ~]# ftp 20.0.0.11  
Name (20.0.0.11:root): dada  
ftp> exit  
[root@server1 ~]# ftp 20.0.0.11  
Name (20.0.0.11:root): xiaoxiao  
ftp> exit 

驗證成功