Linux性能問題分析流程與性能優化思路

作者：華仔聊技術 2022-07-15 08:52:03

系統 Linux 新聞

除了性能分析外，很多時候，我們還需要對系統性能進行基準測試。

排查順序

1. 整體情況

top/htop/atop 命令查看進程/線程、CPU、內存使用情況，CPU使用情況；
dstat 2 查看CPU、磁盤IO、網絡IO、換頁、中斷、切換，系統I/O狀態;
vmstat 2 查看內存使用情況，內存狀態；
iostat -d -x 2 查看所有磁盤的IO情況，系統I/O狀態；
iotop 查看IO靠前的進程，系統的I/O狀態；
perf top 查看占用CPU最多的函數，CPU使用情況；
perf record -ag -- sleep 15 perf report 查看CPU事件占比，調用棧，CPU使用情況；
sar -n DEV 2 查看網卡的吞吐，網卡狀態；
/usr/share/bcc/tools/filetop -C 查看每個文件的讀寫情況，系統的I/O狀態；
/usr/share/bcc/tools/opensnoop 顯示正在被打開的文件，系統的I/O狀態；
mpstat -P ALL 1 單核CPU是否被打爆；
ps aux --sort=-%cpu 按CPU使用率排序，找出CPU消耗最多進程；
ps -eo pid,comm,rss | awk '{m=$3/1e6;s["*"]+=m;s[$2]+=m} END{for (n in s) printf"%10.3f GB %s\n",s[n],n}' | sort -nr | head -20 統計前20內存占用；
awk 'NF>3{s["*"]+=s[$1]=$3*$4/1e6} END{for (n in s) printf"%10.1f MB %s\n",s[n],n}' /proc/slabinfo | sort -nr | head -20 統計內核前20slab的占用；

2. 進程分析，進程占用的資源

pidstat 2 -p 進程號，查看可疑進程CPU使用率變化情況；
pidstat -w -p 進程號，查看可疑進程的上下文切換情況；
pidstat -d -p 進程號，查看可疑進程的IO情況；
lsof -p 進程號，查看進程打開的文件；
strace -f -T -tt -p 進程號，顯示進程發起的系統調用；

3. 協議棧分析，連接/協議棧狀態

ethtool -S 查看網卡硬件情況；
cat /proc/net/softnet_stat/ifconfig eth1 查看網卡驅動情況；
netstat -nat|awk '{print awk $NF}'|sort|uniq -c|sort -n 查看連接狀態分布；
ss -ntp 或者 netstat -ntp 查看連接隊列；
netstat -s 查看協議棧情況；

4. 方法論

RED方法：監控服務的請求數（Rate）、錯誤數（Errors）、響應時間（Duration）。Weave Cloud在監控微服務性能時提出的思路。

USE方法：監控系統資源的使用率（Utilization）、飽和度（Saturation）、錯誤數（Errors）。

5. 性能分析工具

Linux 內核的各個子系統出發，匯總了對各個子系統進行性能分析時，你可以選擇的工具。不過，雖然這個圖是性能分析最好的參考資料之一，它其實還不夠具體。比如，當你需要查看某個性能指標時，這張圖里對應的子系統部分，可能有多個性能工具可供選擇。但實際上，并非所有這些工具都適用，具體要用哪個，還需要你去查找每個工具的手冊，對比分析做出選擇。