Linux 系統(tǒng)監(jiān)控和診斷工具：lsof
1、lsof 簡介
lsof 是 Linux 下的一個非常實(shí)用的系統(tǒng)級的監(jiān)控、診斷工具。
它的意思是 List Open Files，很容易你就記住了它是 “ls + of”的組合~
它可以用來列出被各種進(jìn)程打開的文件信息，記?。篖inux 下 “一切皆文件”，
包括但不限于 pipes, sockets, directories, devices, 等等。
因此，使用 lsof，你可以獲取任何被打開文件的各種信息。
只需輸入 lsof 就可以生成大量的信息，因為 lsof 需要訪問核心內(nèi)存和各種文件，所以必須以 root 用戶的身份運(yùn)行它才能夠充分地發(fā)揮其功能。
lsof 的示例輸出：
- root@YLinux:~/lab 0# lsof
- COMMAND PID TID USER FD TYPE DEVICE SIZE/OFF NODE NAME
- systemd 1 root cwd DIR 8,6 4096 2 /
- systemd 1 root rtd DIR 8,6 4096 2 /
- systemd 1 root txt REG 8,6 2273340 1834909 /usr/lib/systemd/systemd
- systemd 1 root mem REG 8,6 210473 1700647 /lib/libnss_files-2.15.s
- ...
2、lsof 常用用法
2.1 監(jiān)控打開的文件、設(shè)備
查看文件、設(shè)備被哪些進(jìn)程占用：
- # lsof /dev/tty1
- COMMAND PID USER FD TYPE DEVICE SIZE/OFF NODE NAME
- bash 1770 jian 0u CHR 4,1 0t0 1045 /dev/tty1
- bash 1770 jian 1u CHR 4,1 0t0 1045 /dev/tty1
- bash 1770 jian 2u CHR 4,1 0t0 1045 /dev/tty1
- bash 1770 jian 255u CHR 4,1 0t0 1045 /dev/tty1
- startx 1845 jian 0u CHR 4,1 0t0 1045 /dev/tty1
- startx 1845 jian 1u CHR 4,1 0t0 1045 /dev/tty1
- ...
2.2 監(jiān)控文件系統(tǒng)
指定目錄、掛載點(diǎn)，可以看到有哪些進(jìn)程打開了其下的文件：
- # lsof /data/
- COMMAND PID USER FD TYPE DEVICE SIZE/OFF NODE NAME
- bash 15983 jian cwd DIR 8,5 4096 8252 /data/backup
- ...
這在 umount 某個文件系統(tǒng)失敗時非常有用（通常會報該 FS is busy）。
列出某個目錄（掛載點(diǎn) 如 /home 也行）下被打開的文件：
- # lsof +D /var/log/
- COMMAND PID USER FD TYPE DEVICE SIZE/OFF NODE NAME
- rsyslogd 488 syslog 1w REG 8,1 1151 268940 /var/log/syslog
- rsyslogd 488 syslog 2w REG 8,1 2405 269616 /var/log/auth.log
- console-k 144 root 9w REG 8,1 10871 269369 /var/log/ConsoleKit/history
列出被指定進(jìn)程名打開的文件：
- # lsof -c ssh -c init
- COMMAND PID USER FD TYPE DEVICE SIZE/OFF NODE NAME
- init 1 root txt REG 8,1 124704 917562 /sbin/init
- init 1 root mem REG 8,1 1434180 1442625 /lib/i386-Linux-gnu/libc-2.13.so
- init 1 root mem REG 8,1 30684 1442694 /lib/i386-Linux-gnu/librt-2.13.so
- ...
- ssh-agent 1528 lakshmanan 1u CHR 1,3 0t0 4369 /dev/null
- ssh-agent 1528 lakshmanan 2u CHR 1,3 0t0 4369 /dev/null
- ssh-agent 1528 lakshmanan 3u unix 0xdf70e240 0t0 10464 /tmp/ssh-sUymKXxw1495/agent.1495
2.3 監(jiān)控進(jìn)程
指定進(jìn)程號，可以查看該進(jìn)程打開的文件：
- # lsof -p 2064
- COMMAND PID USER FD TYPE DEVICE SIZE/OFF NODE NAME
- firefox 2064 jian cwd DIR 8,6 4096 1571780 /home/jian
- firefox 2064 jian rtd DIR 8,6 4096 2 /
- firefox 2064 jian txt REG 8,6 44224 1985670 /usr/lib/firefox-12.0/firefox
- firefox 2064 jian mem REG 8,6 14707012 925361 /usr/share/fonts/chinese/msyhbd.ttf
- firefox 2064 jian mem REG 8,6 15067744 925362 /usr/share/fonts/chinese/msyh.ttf
- firefox 2064 jian mem REG 8,6 16791251 1701681 /usr/share/fonts/wenquanyi/wqy-zenhei.ttc
- firefox 2064 jian mem REG 0,16 67108904 10203 /dev/shm/pulse-shm-3021850167
- ...
當(dāng)你想要?dú)⒌裟硞€用戶所有打開的文件、設(shè)備，你可以這樣：
- kill -9 `lsof -t -u lakshmanan`
此處 -t 的作用是單獨(dú)的列出 進(jìn)程 id 這一列。
關(guān)于殺死進(jìn)程的 4 種方式，請參考：
http://www.thegeekstuff.com/2009/12/4-ways-to-kill-a-process-kill-killall-pkill-xkill/
2.4 監(jiān)控網(wǎng)絡(luò)
查看指定端口有哪些進(jìn)程在使用（lsof -i 列出所有的打開的網(wǎng)絡(luò)連接）：
- # lsof -i:22
- COMMAND PID USER FD TYPE DEVICE SIZE/OFF NODE NAME
- sshd 1569 root 3u IPv4 10303 0t0 TCP *:ssh (LISTEN)
- sshd 1569 root 4u IPv6 10305 0t0 TCP *:ssh (LISTEN)
- ...
列出被某個進(jìn)程打開所有的網(wǎng)絡(luò)文件：
- lsof -i -a -p 234
或者：
- lsof -i -a -c ssh
列出所有 tcp、udp 連接：
- lsof -i tcp;
- lsof -i udp;
列出所有 NFS 文件：
- lsof -N -u lakshmanan -a
查看指定網(wǎng)口有哪些進(jìn)程在使用：
- # lsof -i@192.168.1.91
- COMMAND PID USER FD TYPE DEVICE SIZE/OFF NODE NAME
- skype 1909 jian 54u IPv4 9116 0t0 TCP 192.168.1.91:40640->64.4.23.153:40047 (ESTABLISHED)
- pidgin 1973 jian 7u IPv4 6599 0t0 TCP 192.168.1.91:59311->hx-in-f125.1e100.net:https (ESTABLISHED)
- pidgin 1973 jian 13u IPv4 9260 0t0 TCP 192.168.1.91:54447->by2msg3010511.phx.gbl:msnp (ESTABLISHED)
- ...
3、更多使用技巧
3.1 監(jiān)控用戶
查看指定用戶打開的文件（lsof -u ^lakshmanan 可以排除某用戶）：
- # lsof -u messagebus
- COMMAND PID USER FD TYPE DEVICE SIZE/OFF NODE NAME
- dbus-daem 1805 messagebus cwd DIR 8,6 4096 2 /
- dbus-daem 1805 messagebus rtd DIR 8,6 4096 2 /
- dbus-daem 1805 messagebus txt REG 8,6 1235361 1834948 /usr/bin/dbus-daemon
- dbus-daem 1805 messagebus mem REG 8,6 210473 1700647 /lib/libnss_files-2.15.so
- dbus-daem 1805 messagebus mem REG 8,6 190145 1700642 /lib/libnss_nis-2.15.so
- dbus-daem 1805 messagebus mem REG 8,6 490366 1700636 /lib/libnsl-2.15.so
- ...
3.2 監(jiān)控應(yīng)用程序
查看指定程序打開的文件：
- # lsof -c firefox
- COMMAND PID USER FD TYPE DEVICE SIZE/OFF NODE NAME
- firefox 2064 jian cwd DIR 8,6 4096 1571780 /home/jian
- firefox 2064 jian rtd DIR 8,6 4096 2 /
- firefox 2064 jian txt REG 8,6 44224 1985670 /usr/lib/firefox-12.0/firefox
- firefox 2064 jian mem REG 8,6 14707012 925361 /usr/share/fonts/chinese/msyhbd.ttf
- firefox 2064 jian mem REG 8,6 15067744 925362 /usr/share/fonts/chinese/msyh.ttf
- firefox 2064 jian mem REG 8,6 16791251 1701681 /usr/share/fonts/wenquanyi/wqy-zenhei.ttc
- ...
4、命令模式技巧
4.1 組合邏輯查詢條件
只有多個查詢條件都滿足， 用 "-a" 參數(shù)，默認(rèn)是 -o 。
- # lsof -a -c bash -u root
- COMMAND PID USER FD TYPE DEVICE SIZE/OFF NODE NAME
- bash 1986 root cwd DIR 8,6 4096 1701593 /root/lab
- bash 1986 root rtd DIR 8,6 4096 2 /
- bash 1986 root txt REG 8,6 1994157 1700632 /bin/bash
- bash 1986 root mem REG 8,6 9690800 405214 /usr/lib/locale/locale-archive
- bash 1986 root mem REG 8,6 210473 1700647 /lib/libnss_files-2.15.so
4.2 lsof 命令的重復(fù)執(zhí)行模式：
基于給定的參數(shù)延時多少秒重復(fù)執(zhí)行 lsof：
- +r 表示 當(dāng)沒有文件被打開的時候，repeat mode 將自行結(jié)束。
- -r 表示 不管文件是否存在或者被打開，它都將執(zhí)行，直到你中斷它。
每個循環(huán)的輸出使用 ‘=======’ 做分隔符，你也可以用 ‘-r’ | ‘+r’ 指定延時時間。
- # lsof -u lakshmanan -c init -a -r5
- =======
- =======
- COMMAND PID USER FD TYPE DEVICE SIZE/OFF NODE NAME
- inita.sh 2971 lakshmanan cwd DIR 8,1 4096 393218 /home/lakshmanan
- inita.sh 2971 lakshmanan rtd DIR 8,1 4096 2 /
- inita.sh 2971 lakshmanan txt REG 8,1 83848 524315 /bin/dash
- inita.sh 2971 lakshmanan mem REG 8,1 1434180 1442625 /lib/i386-Linux-gnu/libc-2.13.so
- inita.sh 2971 lakshmanan mem REG 8,1 117960 1442612 /lib/i386-Linux-gnu/ld-2.13.so
- inita.sh 2971 lakshmanan 0u CHR 136,4 0t0 7 /dev/pts/4
- inita.sh 2971 lakshmanan 1u CHR 136,4 0t0 7 /dev/pts/4
- inita.sh 2971 lakshmanan 2u CHR 136,4 0t0 7 /dev/pts/4
- inita.sh 2971 lakshmanan 10r REG 8,1 20 393578 /home/lakshmanan/inita.sh
- =======
以上輸出是前 5 秒沒有輸出，然后 “inita.sh” 啟動后，開始有了輸出。
5、最后的技巧
關(guān)于磁盤空間告警 df -h --max=1 與 du -hx --max=1 顯示不一致的問題，
最常見的的還是下面這種情況：
- lsof|grep -i delete
看看被刪除的文件：有些刪了文件，但是進(jìn)程沒 reload，那些空間還是占用的，你可以理解為類似 windows 下的進(jìn)程句柄沒釋放的概念吧~ 只是 windows 下如果有文件被進(jìn)程使用，你一般是刪不掉的，而 Linux 雖然不做刪除限制，但卻要等到進(jìn)程使用完文件才能完全釋放，以防止進(jìn)程奔潰，這是操作系統(tǒng)對資源的管理差異吧~
例如 nginx 會有很多臨時文件占用了 /tmp 目錄，刪掉后，依然占用著空間，
此時你可以：
- pkill -9 nginx && /etc/init.d/nginx restart
好吧，本文到此結(jié)束了，關(guān)于 lsof 還有很多很多，不過哥常用、知道的就這些了，哥也只能幫你到這兒了，
如果你還需要其它的內(nèi)容，請自行 google 吧，騷年。。。
6、refer：
使用 lsof 查找打開的文件：
http://www.ibm.com/developerworks/cn/aix/library/au-lsof.html
15 Linux lsof Command Examples (Identify Open Files)：
http://www.thegeekstuff.com/2012/08/lsof-command-examples/
實(shí)用的系統(tǒng)工具之 lsof：
