用戶態(tài) tcpdump 如何實現(xiàn)抓到內(nèi)核網(wǎng)絡包的?
今天聊聊大家工作中經(jīng)常用到的 tcpdump。
在網(wǎng)絡包的發(fā)送和接收過程中，絕大部分的工作都是在內(nèi)核態(tài)完成的。那么問題來了，我們常用的運行在用戶態(tài)的程序 tcpdump 是那如何實現(xiàn)抓到內(nèi)核態(tài)的包的呢？有的同學知道 tcpdump 是基于 libpcap 的，那么 libpcap 的工作原理又是啥樣的呢。如果讓你裸寫一個抓包程序，你有沒有思路？
按照小編的風格，不搞到最底層的原理咱是不會罷休的。所以我對相關(guān)的源碼進行了深入分析。通過本文，你將徹底搞清楚了以下這幾個問題。
- tcpdump 是如何工作的？
- netfilter 過濾的包 tcpdump 是否可以抓的到？
- 讓你自己寫一個抓包程序的話該如何下手？
借助這幾個問題，我們來展開今天的探索之旅！
一、網(wǎng)絡包接收過程
在之前的文中我們詳細介紹了網(wǎng)絡包是如何從網(wǎng)卡到達用戶進程中的。這個過程我們可以簡單用如下這個圖來表示。
找到 tcpdump 抓包點
我們在網(wǎng)絡設(shè)備層的代碼里找到了 tcpdump 的抓包入口。在 __netif_receive_skb_core 這個函數(shù)里會遍歷 ptype_all 上的協(xié)議。還記得上文中我們提到 tcpdump 在 ptype_all 上注冊了虛擬協(xié)議。這時就能執(zhí)行的到了。來看函數(shù)：
- //file: net/core/dev.c
- static int __netif_receive_skb_core(struct sk_buff *skb, bool pfmemalloc)
- {
- ......
- //遍歷 ptype_all （tcpdump 在這里掛了虛擬協(xié)議）
- list_for_each_entry_rcu(ptype, &ptype_all, list) {
- if (!ptype->dev || ptype->dev == skb->dev) {
- if (pt_prev)
- ret = deliver_skb(skb, pt_prev, orig_dev);
- pt_prev = ptype;
- }
- }
- }
在上面函數(shù)中遍歷 ptype_all，并使用 deliver_skb 來調(diào)用協(xié)議中的回調(diào)函數(shù)。
- //file: net/core/dev.c
- static inline int deliver_skb(...)
- {
- return pt_prev->func(skb, skb->dev, pt_prev, orig_dev);
- }
對于 tcpdump 來說，就會進入 packet_rcv 了（后面我們再說為啥是進入這個函數(shù)）。這個函數(shù)在 net/packet/af_packet.c 文件中。
- //file: net/packet/af_packet.c
- static int packet_rcv(struct sk_buff *skb, ...)
- {
- __skb_queue_tail(&sk->sk_receive_queue, skb);
- ......
- }
可見 packet_rcv 把收到的 skb 放到了當前 packet socket 的接收隊列里了。這樣后面調(diào)用 recvfrom 的時候就可以獲取到所抓到的包??！
再找 netfilter 過濾點
為了解釋我們開篇中提到的問題，這里我們再稍微到協(xié)議層中多看一些。在 ip_rcv 中我們找到了一個 netfilter 相關(guān)的執(zhí)行邏輯。
- //file: net/ipv4/ip_input.c
- int ip_rcv(...)
- {
- ......
- return NF_HOOK(NFPROTO_IPV4, NF_INET_PRE_ROUTING, skb, dev, NULL,
- ip_rcv_finish);
- }
如果你用 NF_HOOK 作為關(guān)鍵詞來搜索，還能搜到不少 netfilter 的過濾點。不過所有的過濾點都是位于 IP 協(xié)議層的。
在接收包的過程中，數(shù)據(jù)包是先經(jīng)過網(wǎng)絡設(shè)備層然后才到協(xié)議層的。
那么我們開篇中的一個問題就有了答案了。假如我們設(shè)置了 netfilter 規(guī)則，在接收包的過程中，工作在網(wǎng)絡設(shè)備層的 tcpdump 先開始工作。還沒等 netfilter 過濾，tcpdump 就抓到包了！
所以，在接收包的過程中，netfilter 過濾并不會影響 tcpdump 的抓包！
二、網(wǎng)絡包發(fā)送過程
我們接著再來看網(wǎng)絡包發(fā)送過程。發(fā)送過程可以匯總成簡單的一張圖。
找到 netfilter 過濾點
在發(fā)送的過程中，同樣是在 IP 層進入各種 netfilter 規(guī)則的過濾。
- //file: net/ipv4/ip_output.c
- int ip_local_out(struct sk_buff *skb)
- {
- //執(zhí)行 netfilter 過濾
- err = __ip_local_out(skb);
- }
- int __ip_local_out(struct sk_buff *skb)
- {
- ......
- return nf_hook(NFPROTO_IPV4, NF_INET_LOCAL_OUT, skb, NULL,
- skb_dst(skb)->dev, dst_output);
- }
在這個文件中，還能看到若干處 netfilter 過濾邏輯。
找到 tcpdump 抓包點
發(fā)送過程在協(xié)議層處理完畢到達網(wǎng)絡設(shè)備層的時候，也有 tcpdump 的抓包點。
- //file: net/core/dev.c
- int dev_hard_start_xmit(struct sk_buff *skb, struct net_device *dev,
- struct netdev_queue *txq)
- {
- ...
- if (!list_empty(&ptype_all))
- dev_queue_xmit_nit(skb, dev);
- }
- static void dev_queue_xmit_nit(struct sk_buff *skb, struct net_device *dev)
- { list_for_each_entry_rcu(ptype, &ptype_all, list) {
- if ((ptype->dev == dev || !ptype->dev) &&
- (!skb_loop_sk(ptype, skb))) {
- if (pt_prev) {
- deliver_skb(skb2, pt_prev, skb->dev);
- pt_prev = ptype;
- continue;
- }
- ......
- }
- }
- }
在上述代碼中我們看到，在 dev_queue_xmit_nit 中遍歷 ptype_all 中的協(xié)議，并依次調(diào)用 deliver_skb。這就會執(zhí)行到 tcpdump 掛在上面的虛擬協(xié)議。
在網(wǎng)絡包的發(fā)送過程中，和接收過程恰好相反，是協(xié)議層先處理、網(wǎng)絡設(shè)備層后處理。
如果 netfilter 設(shè)置了過濾規(guī)則，那么在協(xié)議層就直接過濾掉了。在下層網(wǎng)絡設(shè)備層工作的 tcpdump 將無法再捕獲到該網(wǎng)絡包。
三、TCPDUMP 啟動
前面兩小節(jié)我們說到了內(nèi)核收發(fā)包都通過遍歷 ptype_all 來執(zhí)行抓包的。那么我們現(xiàn)在來看看用戶態(tài)的 tcpdump 是如何掛載協(xié)議到內(nèi) ptype_all 上的。
我們通過 strace 命令我們抓一下 tcpdump 命令的系統(tǒng)調(diào)用，顯示結(jié)果中有一行 socket 系統(tǒng)調(diào)用。Tcpdump 秘密的源頭就藏在這行對 socket 函數(shù)的調(diào)用里。
- # strace tcpdump -i eth0
- socket(AF_PACKET, SOCK_RAW, 768)
- ......
socket 系統(tǒng)調(diào)用的第一個參數(shù)表示創(chuàng)建的 socket 所屬的地址簇或者協(xié)議簇，取值以 AF 或者 PF 開頭。在 Linux 里，支持很多種協(xié)議族，在 include/linux/socket.h 中可以找到所有的定義。這里創(chuàng)建的是 packet 類型的 socket。
協(xié)議族和地址族：每一種協(xié)議族都有其對應的地址族。比如 IPV4 的協(xié)議族定義叫 PF_INET，其地址族的定義是 AF_INET。它們是一一對應的，而且值也完全一樣，所以經(jīng)?；煊?。
- //file: include/linux/socket.h
- #define AF_UNSPEC 0
- #define AF_UNIX 1 /* Unix domain sockets */
- #define AF_LOCAL 1 /* POSIX name for AF_UNIX */
- #define AF_INET 2 /* Internet IP Protocol */
- #define AF_INET6 10 /* IP version 6 */
- #define AF_PACKET 17 /* Packet family */
- ......
另外上面第三個參數(shù) 768 代表的是 ETH_P_ALL，socket.htons(ETH_P_ALL) = 768。
我們來展開看這個 packet 類型的 socket 創(chuàng)建的過程中都干了啥，找到 socket 創(chuàng)建源碼。
- //file: net/socket.c
- SYSCALL_DEFINE3(socket, int, family, int, type, int, protocol)
- {
- ......
- retval = sock_create(family, type, protocol, &sock);
- }
- int __sock_create(struct net *net, int family, int type, ...)
- {
- ......
- pf = rcu_dereference(net_families[family]);
- err = pf->create(net, sock, protocol, kern);
- }
在 __sock_create 中，從 net_families 中獲取了指定協(xié)議。并調(diào)用了它的 create 方法來完成創(chuàng)建。
net_families 是一個數(shù)組，除了我們常用的 PF_INET（ ipv4 ） 外，還支持很多種協(xié)議族。比如 PF_UNIX、PF_INET6（ipv6）、PF_PACKET等等。每一種協(xié)議族在 net_families 數(shù)組的特定位置都可以找到其 family 類型。在這個 family 類型里，成員函數(shù) create 指向該協(xié)議族的對應創(chuàng)建函數(shù)。
根據(jù)上圖，我們看到對于 packet 類型的 socket，pf->create 實際調(diào)用到的是 packet_create 函數(shù)。我們進入到這個函數(shù)中來一探究竟，這是理解 tcpdump 工作原理的關(guān)鍵！
- //file: packet/af_packet.c
- static int packet_create(struct net *net, struct socket *sock, int protocol,
- int kern)
- {
- ...
- po = pkt_sk(sk);
- po->prot_hook.func = packet_rcv;
- //注冊鉤子
- if (proto) {
- po->prot_hook.type = proto;
- register_prot_hook(sk);
- }
- }
- static void register_prot_hook(struct sock *sk)
- {
- struct packet_sock *po = pkt_sk(sk);
- dev_add_pack(&po->prot_hook);
- }
在 packet_create 中設(shè)置回調(diào)函數(shù)為 packet_rcv，再通過 register_prot_hook => dev_add_pack 完成注冊。注冊完后，是在全局協(xié)議 ptype_all 鏈表中添加了一個虛擬的協(xié)議進來。
我們再來看下 dev_add_pack 是如何注冊協(xié)議到 ptype_all 中的?；仡櫸覀冮_頭看到的 socket 函數(shù)調(diào)用，第三個參數(shù) proto 傳入的是 ETH_P_ALL。那 dev_add_pack 其實最后是把 hook 函數(shù)添加到了 ptype_all 里了，代碼如下。
- //file: net/core/dev.c
- void dev_add_pack(struct packet_type *pt)
- {
- struct list_head *head = ptype_head(pt);
- list_add_rcu(&pt->list, head);
- }
- static inline struct list_head *ptype_head(const struct packet_type *pt)
- {
- if (pt->type == htons(ETH_P_ALL))
- return &ptype_all;
- else
- return &ptype_base[ntohs(pt->type) & PTYPE_HASH_MASK];
- }
我們整篇文章都以 ETH_P_ALL 為例，但其實有的時候也會有其它情況。在別的情況下可能會注冊協(xié)議到 ptype_base 里了，而不是 ptype_all。同樣， ptype_base 中的協(xié)議也會在發(fā)送和接收的過程中被執(zhí)行到。
總結(jié)：tcpdump 啟動的時候內(nèi)部邏輯其實很簡單，就是在 ptype_all 中注冊了一個虛擬協(xié)議而已。
四、總結(jié)
現(xiàn)在我們再回頭看開篇提到的幾個問題。
1. tcpdump是如何工作的
用戶態(tài) tcpdump 命令是通過 socket 系統(tǒng)調(diào)用，在內(nèi)核源碼中用到的 ptype_all 中掛載了函數(shù)鉤子上去。無論是在網(wǎng)絡包接收過程中，還是在發(fā)送過程中，都會在網(wǎng)絡設(shè)備層遍歷 ptype_all 中的協(xié)議，并執(zhí)行其中的回調(diào)。tcpdump 命令就是基于這個底層原理來工作的。
2. netfilter 過濾的包 tcpdump是否可以抓的到
關(guān)于這個問題，得分接收和發(fā)送過程分別來看。在網(wǎng)絡包接收的過程中，由于 tcpdump 近水樓臺先得月，所以完全可以捕獲到命中 netfilter 過濾規(guī)則的包。
但是在發(fā)送的過程中，恰恰相反。網(wǎng)絡包先經(jīng)過協(xié)議層，這時候被 netfilter 過濾掉的話，底層工作的 tcpdump 還沒等看見就啥也沒了。
3. 讓你自己寫一個抓包程序的話該如何下手
如果你想自己寫一段類似 tcpdump 的抓包程序的話，使用 packet socket 就可以了。我用 c 寫了一段抓包，并且解析源 IP 和目的 IP 的簡單 demo。
源碼地址：https://github.com/yanfeizhang/coder-kung-fu/blob/main/tests/network/test04/main.c
編譯一下，注意運行需要 root 權(quán)限。
- # gcc -o main main.c
- # ./main
運行結(jié)果預覽如下。
