Linux 監(jiān)控和調(diào)試?yán)?Sysdig 入門教程

作者：佚名 2021-11-30 09:35:32

它的定位是系統(tǒng)監(jiān)控、分析和排障的工具，其實(shí)在 Linux 平臺(tái)上，已經(jīng)有很多這方面的工具 ,為什么還需要 Sysdig 呢？在我看來，Sysdig 的優(yōu)點(diǎn)可以歸納為三個(gè)詞語：整合、強(qiáng)大、靈活。

[[437546]]

Sysdig 簡介

Sysdig 官網(wǎng) 上對(duì)自己的介紹是：

Open Source Universal System Visibility With Native Contaier Support.

它的定位是系統(tǒng)監(jiān)控、分析和排障的工具，其實(shí)在 Linux 平臺(tái)上，已經(jīng)有很多這方面的工具 strace、tcpdump、htop、iftop、lsof、netstat，它們都能用來分析 Linux 系統(tǒng)的運(yùn)行情況，而且還有很多日志、監(jiān)控工具。為什么還需要 Sysdig 呢？在我看來，Sysdig 的優(yōu)點(diǎn)可以歸納為三個(gè)詞語：整合、強(qiáng)大、靈活。

整合

雖然 Linux 有很多系統(tǒng)分析和調(diào)優(yōu)的工具，但是它們一般都負(fù)責(zé)某個(gè)特殊的功能，并且使用方式有很大的差異，如果要分析和定位問題，一般都需要熟練掌握需要命令的使用。而且這些工具的數(shù)據(jù)無法進(jìn)行共享，只能相互獨(dú)立工作。Sysdig 一個(gè)工具就能實(shí)現(xiàn)上述所有工具的功能，并且提供了統(tǒng)一的使用語法。

強(qiáng)大

Sysdig 能獲取實(shí)時(shí)的系統(tǒng)數(shù)據(jù)，也能把信息保存到文件中以供后面分析。捕獲的數(shù)據(jù)包含系統(tǒng)的個(gè)個(gè)方面：

• 全方面的系統(tǒng)參數(shù)：CPU、Memory、Disk IO、網(wǎng)絡(luò) IO

• 支持各種 IO 活動(dòng)：進(jìn)程、文件、網(wǎng)絡(luò)連接等

除了幫你捕獲信息之外，Sysdig 還預(yù)先還有有用的工具來分析這些數(shù)據(jù)，從大量的數(shù)據(jù)中找到有用的信息變得非常簡單。比如你能還簡單地做到下面這些事情：

• 按照 CPU 的使用率對(duì)進(jìn)程進(jìn)行排序，找到 CPU 使用率最高的那個(gè)

• 按照發(fā)送網(wǎng)絡(luò)數(shù)據(jù)報(bào)文的多少對(duì)進(jìn)程進(jìn)行排序

• 找到打開最多文件描述符的進(jìn)程

• 查看哪些進(jìn)程修改了指定的文件

• 打印出某個(gè)進(jìn)程的 HTTP 請(qǐng)求報(bào)文

• 找到用時(shí)最久的系統(tǒng)調(diào)用

• 查看系統(tǒng)中所有的用戶都執(zhí)行了哪些命令

• ……

基本上自帶的工具就能滿足大部分的分析需求。

靈活

Sysdig 有著類似于 tcpdump 的過濾語法，用戶可以隨意組合自己的過濾邏輯，從茫茫的數(shù)據(jù)中找到關(guān)心的信息。除此之外，用戶還可以自己編寫 Lua 腳本來自定義分析邏輯，基本上不受任何限制。

工作原理

Sysdig 通過在內(nèi)核的 driver 模塊注冊(cè)系統(tǒng)調(diào)用的 hook，這樣當(dāng)有系統(tǒng)調(diào)用發(fā)生和完成的時(shí)候，它會(huì)把系統(tǒng)調(diào)用信息拷貝到特定的 buffer，然后用戶模塊的組件對(duì)數(shù)據(jù)信息處理（解壓、解析、過濾等），并最終通過 Sysdig 命令行和用戶進(jìn)行交互。

更多的原理可以參考官方博客

除了 Sysdig 命令之外，還有一個(gè)基于終端的 UI 命令 Csysdig，它類似于 top 命令，定時(shí)對(duì)系統(tǒng)情況進(jìn)行刷新，并且可以讓用戶交互。這篇文章我們只介紹 Sysdig，不會(huì)講解 Csysdig 的使用。

安裝

Sysdig 的安裝在官方文檔中有詳細(xì)的說明，這里不再贅述。需要注意的是，Sysdig 對(duì)內(nèi)核版本有一定的要求，請(qǐng)保證內(nèi)核不要太舊。

另外，如果使用容器的方式安裝，需要把主機(jī)的很多系統(tǒng)目錄 mount 到容器中：

$ docker run -i -t --name sysdig --privileged -v /var/run/docker.sock:/host/var/run/docker.sock -v /dev:/host/dev -v /proc:/host/proc:ro -v /boot:/host/boot:ro -v /lib/modules:/host/lib/modules:ro -v /usr:/host/usr:ro sysdig/sysdig

Sysdig 基本用法

基本格式

直接在終端輸入 sysdig 就能開始捕獲系統(tǒng)信息，這個(gè)命令需要系統(tǒng)管理員權(quán)限，執(zhí)行后你會(huì)看到終端有持續(xù)不斷的輸出流。

$ sudo sysdig

因?yàn)橄到y(tǒng)每時(shí)每刻都有大量的系統(tǒng)調(diào)用產(chǎn)生，這樣是沒辦法看清更無法分析輸出信息的，可以先使用 CTRL + c 來退出命令。

在講解如何使用 Sysdig 的參數(shù)之前，我們先來解釋一下它的輸出格式：

5352209 11:54:08.853479695 0 ssh-agent (13314) < getrusage  
5352210 11:54:08.853481094 0 ssh-agent (13314) > clock_gettime  
5352211 11:54:08.853482049 0 ssh-agent (13314) < clock_gettime  
5352226 11:54:08.853510313 0 ssh-agent (13314) > getrusage  
5352228 11:54:08.853511089 0 ssh-agent (13314) < getrusage  
5352229 11:54:08.853511646 0 ssh-agent (13314) > clock_gettime  
5352231 11:54:08.853512020 0 ssh-agent (13314) < clock_gettime  
5352240 11:54:08.853530285 0 ssh-agent (13314) > stat  
5352241 11:54:08.853532329 0 ssh-agent (13314) < stat res=0 path=/home/cizixs/.ssh  
5352242 11:54:08.853533065 0 ssh-agent (13314) > stat  
5352243 11:54:08.853533990 0 ssh-agent (13314) < stat res=0 path=/home/cizixs/.ssh/id_rsa.pub  
5353954 11:54:08.857382204 0 ssh-agent (13314) > write fd=16 size=280

所有的輸入都是按照行來分割的，每行都是一條記錄，由多個(gè)列組成，默認(rèn)的格式是：

%evt.num %evt.outputtime %evt.cpu %proc.name (%thread.tid) %evt.dir %evt.type %evt.info

各個(gè)字段的含義如下：

• evt.num：遞增的事件號(hào)。

• evt.time：事件發(fā)生的時(shí)間。

• evt.cpu：事件被捕獲時(shí)所在的 CPU，也就是系統(tǒng)調(diào)用是在哪個(gè) CPU 執(zhí)行的。比較上面的例子中，值 0 代表機(jī)器的第一個(gè) CPU。

• proc.name：生成事件的進(jìn)程名字，也就是哪個(gè)進(jìn)程在運(yùn)行。

• thread.tid：線程的 id，如果是單線程的程序，這也是進(jìn)程的 pid。

• evt.dir：事件的方向（direction），> 代表進(jìn)入事件，< 代表退出事件。

• evt.type：事件的名稱，比如 open、stat等，一般是系統(tǒng)調(diào)用。

• evt.args：事件的參數(shù)。如果是系統(tǒng)調(diào)用，這些對(duì)應(yīng)著系統(tǒng)調(diào)用的參數(shù)。

過濾

完整的 Sysdig 使用方法是這樣的：

sysdig [option]...  [filter]

因?yàn)?Sysdig 的輸出內(nèi)容很多，不管是監(jiān)控還是查問題我們要關(guān)注的事件只是其中很小的一部分。這個(gè)時(shí)候就要用到過濾的功能，找到感興趣的事件。Sysdig 的過濾功能很強(qiáng)大，不僅支持的過濾項(xiàng)很多，而且還能夠自由地進(jìn)行邏輯組合。

Sysdig 的過濾器也是分成不同類別的，比如:

• fd: 對(duì)文件描述符（file descriptor）進(jìn)行過濾，比如 fd 標(biāo)號(hào)（fd.num）、fd 名字（fd.name）。

• process: 進(jìn)程信息的過濾，比如進(jìn)程 id（proc.id）、進(jìn)程名（proc.name）。

• evt: 事件信息的過濾，比如事件編號(hào)、事件名。

• user: 用戶信息的過濾，比如用戶 id、用戶名、用戶 home 目錄、用戶的登錄 shell（user.shell）。

• syslog: 系統(tǒng)日志的過濾，比如日志的嚴(yán)重程度、日志的內(nèi)容。

• fdlist: poll event 的文件描述符的過濾。

完整的過濾器列表可以使用 sysdig -l 來查看，比如可以查看建立 TCP 連接的事件：

$ sudo sysdig evt.type=accept

過濾器除了直接的相等比較之外，還有其他操作符，包括 =、!=、>=、>、<、<=、contains、in 和 exists，比如：

$ sysdig fd.name contains /etc  
$ sysdig "evt.type in ( 'select', 'poll' )"  
$ sysdig proc.name exists

更酷的是，多個(gè)過濾條件還可以通過 and、or 和 not 進(jìn)行邏輯組合，比如：

$ sysdig "not (fd.name contains /proc or fd.name contains /dev)"

這些強(qiáng)大的功能綜合到一起，就能讓我們很容易定位到需要的事件，分析和監(jiān)控更有目的性。

自定義輸出格式

標(biāo)準(zhǔn)的輸出已經(jīng)打印出常用的信息，sysdig 還允許你自定義打印出的內(nèi)容，參數(shù) -p 可以加上類似于 C 語言 printf 字符串，比如：

$ sysdig -p"user:%user.name dir:%evt.arg.path" evt.type=chdir  
user:ubuntu dir:/root  
user:ubuntu dir:/root/tmp  
user:ubuntu dir:/root/Download

上面的信息，可以很容易看到用戶更改當(dāng)前目錄的情況。從上面的例子也可以使用 -p 的使用方法：

• 字段必須用 % 作為前綴，所有在 sysdig -l 中列出來的字段都可以使用

• 你可以在字符串中加入其他可讀性的內(nèi)容，它們會(huì)如實(shí)打印出來

• 如果某個(gè)字段在時(shí)間中不存在，默認(rèn)這個(gè)事件會(huì)過濾掉，在這個(gè)字符串最前面加上 * 符號(hào)，會(huì)打印出所有的事件，不存在的字段會(huì)變成，比如:

$ sysdig -p"*%evt.type %evt.dir %evt.arg.name" evt.type=open  
open > <NA>  
open < /proc/1285/task/1399/stat  
open > <NA>  
open < /proc/1285/task/1400/io  
open > <NA>  
open < /proc/1285/task/1400/statm  
open > <NA>

保存到文件

盡管可以用過濾器減少輸出，直接在終端查看事件流還是沒有辦法讓我們進(jìn)行深入分析。

和 tcpdump 工具類似，Sysdig 也允許你把捕獲的時(shí)間保存到本地的文件，然后再讀取文件的內(nèi)容進(jìn)行分析。

保存到文件可以通過 -w 實(shí)現(xiàn)，從文件中讀取需要 -r 參數(shù)，比如：

# 捕獲事件，并保存到文件中，這樣在終端是看不到輸出的。  
$ sudo sysdig -w sysdig-trace-file.scap  
# 從文件中讀取 Sysdig 格式的事件進(jìn)行分析。  
$ sudo sysdig -r sysdig-trace-file.scap

另一個(gè)有用的功能是，你可以控制捕獲到文件的內(nèi)容。通常情況下，Sysdig 捕獲了系統(tǒng)所有的活動(dòng)，因此這些數(shù)據(jù)會(huì)很大，如果一直捕獲的話，會(huì)造成磁盤空間的浪費(fèi)，Sysdig 提供了類似于 logrotate 的方式，讓你只保存最新捕獲的文件。

控制捕獲文件大小的一個(gè)辦法是在捕獲的使用使用過濾器，之外，你還可以通過 -n 2000 指定捕獲 2000 條事件之后就退出，或者通過 logrotate 的方式來滾動(dòng)文件：

• sysdig -C 5 -W 10 -w dump.pcap ：保證每個(gè)文件不超過 5M 大小，并且只保存最近的 10 個(gè)文件

• sysdig -G 60 -W 60 -w dump.pcap：每個(gè)文件只保存一分鐘內(nèi)的系統(tǒng)活動(dòng)（-G 60），并且只保存 60 個(gè)文件，也就是說捕獲最近一個(gè)小時(shí)的系統(tǒng)活動(dòng)，每分鐘的數(shù)據(jù)一個(gè)文件

• sysdig -e 1000 -W 5 -w dump.scap：保存 5 個(gè)文件，每個(gè)文件只有 1000 個(gè)事件

當(dāng)使用 -w 保存文件的使用，還可以使用 -z 參數(shù)對(duì)保存的內(nèi)容進(jìn)行壓縮，進(jìn)一步減少占用的空間。

讀取的時(shí)候也可以使用過濾器，如果我們只關(guān)心 write 系統(tǒng)調(diào)用：

$ sysdig -r sysdig-trace-nano.scap evt.type=write

而且讀取的時(shí)候也可以進(jìn)一步對(duì)文件進(jìn)行分割，比如：

$ sysdig -r dump.scap -G 300 -z -w segments.scap

這個(gè)命令，就是讀取 dump.scap 文件的內(nèi)容，并且把它分割成五分鐘（-G 300s）的多個(gè)文件。

常用的參數(shù)

除了上面介紹的過濾器參數(shù)，Sysdig 還有很多可用的參數(shù)，完整的列表和解釋請(qǐng)參考 man sysdig 文檔。這里介紹一下比較常用的：

• -A --print-ascii：把 buffer 中數(shù)據(jù)按照 ASCII 格式打印，方便用戶閱讀

• -x --print-hex：把 buffer 中數(shù)據(jù)按照十六進(jìn)制格式打印

• -X --print-hex-ascii：把 buffer 中數(shù)據(jù)同時(shí)按照 ASCII 格式和十六進(jìn)制格式打印

• -s 1024：捕獲 buffer 的數(shù)據(jù)大小，默認(rèn)為 80，如果這個(gè)值設(shè)置的過大，會(huì)產(chǎn)生很大的文件

• -N：不用把端口號(hào)轉(zhuǎn)換成可讀的名字，這個(gè)參數(shù)會(huì)提高處理的效率

Chisels：實(shí)用的工具箱

雖然有了過濾器和文件的輸入輸出，加上 Sysdig 其他的參數(shù)，我們可以按照需求去分析和監(jiān)控系統(tǒng)了，但是很多場景需要更復(fù)雜的數(shù)據(jù)聚合。

Sysdig 提供了另外一個(gè)強(qiáng)大的功能：chisels，它們是一組預(yù)定義的功能集合，通過 Lua 腳本實(shí)現(xiàn)，用來分析特定的場景。

可以通過 sudo sysdig -cl 列出支持的所有 chisels，我們來解釋一些比較常用的 chisels：

• httplog：輸出所有的 HTTP 請(qǐng)求。

• topprocs_cpu：輸出按照 CPU 使用率排序的進(jìn)程列表。

• echo_fds：輸出進(jìn)程讀寫的數(shù)據(jù)。

• netstat：列出網(wǎng)絡(luò)的連接情況。

• spy_file：輸出文件的讀寫數(shù)據(jù)，可以提供某個(gè)文件名作為參數(shù)，這樣就只輸出該文件的讀寫內(nèi)容。

有些 chisel 可能需要參數(shù)才能正常運(yùn)行，如果要了解某個(gè) chisel 的具體使用說明，可以用 -i 參數(shù)，比如要了解 spy_file 的用法：

$ sudo sysdig -i spy_file  
Category: I/O  
-------------  
spy_file        Echo any read/write made by any process to all files. Optionall 
                y, you can provide the name of one file to only intercept reads  
                /writes to that file.  
This chisel intercepts all reads and writes to all files. Instead of all files,  
 you can limit interception to one file.  
Args:  
[string] read_or_write - Specify 'R' to capture only read event  
                s; 'W' to capture only write events; 'RW' to capture read and w  
                rite events. By default both read and write events are captured  
                .  
[string] spy_on_file_name - The name of the file which the chis  
                el should spy on for all read and write activity.

文章最開始的時(shí)候，我提到過 Sysdig 可以滿足大部分的日常分析，它們主要就是通過 chisel 完成的。比如：

按照網(wǎng)絡(luò)的使用情況對(duì)進(jìn)程進(jìn)行排序：

$  sysdig -c topprocs_net

按照建立連接數(shù)量對(duì)進(jìn)程進(jìn)行排序：

$ sysdig -c fdcount_by fd.sport "evt.type=accept"

查看系統(tǒng)中用戶執(zhí)行的命令：

$ sysdig -r sysdig.pcap -c spy_users

更多的使用案例，可以參考 Sysdig Example 這篇 wiki。

在 Linux 機(jī)器上，這些 chisel 保存在 /usr/share/sysdig/chisels 文件夾中，每個(gè) chisel 對(duì)應(yīng)一個(gè) Lua 腳本文件。如果提供的這些 chisel 還不能滿足需求，用戶也可以根據(jù)需求編寫自己的 chisel。

對(duì)容器的支持

Sysdig 另外一個(gè)優(yōu)勢是它對(duì)容器（ Docker 和 Kubernetes ）的良好支持，這對(duì)于目前采用了容器化的系統(tǒng)管理員來說是很好的福利。

使用 -pc 參數(shù)就能自動(dòng)在打印的事件中添加上容器的信息（容器名、容器 id 等），比如捕獲 container 名字為 zen_knuth 的所有系統(tǒng)活動(dòng)：

$ sysdig -pc container.name=zen_knuth

對(duì)容器的分析和原來的一樣，只要通過 container.name=apache 指定要分析的容器名字就行，比如查看某個(gè)容器的網(wǎng)絡(luò)連接：

$ sysdig -pc -c topconns container.name=wordpress1

要集成 Kubernetes 系統(tǒng)監(jiān)控的話，使用 -k http://master_ip:8080 參數(shù)，后面是 apiserver 的地址，如果 apiserver 需要認(rèn)證的話，需要指定 -K filename 來說明 apiserver CA 證書的文件地址。關(guān)于 Kubernetes 的監(jiān)控和分析不是這篇文章的重點(diǎn)，讀者可以參數(shù) Sysdig 的博客或者其他文檔。

Csysdig：圖形化的 Sysdig

Sysdig 還提供了另外一個(gè)圖形化的工具：Csysdig，它的界面和 top/htop 命令相似，并且可以接受用戶的交互。