圖解：進(jìn)程怎么綁定 CPU
昨天在群里有朋友問：把進(jìn)程綁定到某個 CPU 上運行是怎么實現(xiàn)的。
首先，我們先來了解下將進(jìn)程與 CPU 進(jìn)行綁定的好處。
進(jìn)程綁定 CPU 的好處：在多核 CPU 結(jié)構(gòu)中，每個核心有各自的L1、L2緩存，而L3緩存是共用的。如果一個進(jìn)程在核心間來回切換，各個核心的緩存命中率就會受到影響。相反如果進(jìn)程不管如何調(diào)度，都始終可以在一個核心上執(zhí)行，那么其數(shù)據(jù)的L1、L2 緩存的命中率可以顯著提高。
所以，將進(jìn)程與 CPU 進(jìn)行綁定可以提高 CPU 緩存的命中率，從而提高性能。而進(jìn)程與 CPU 綁定被稱為：CPU 親和性。
設(shè)置進(jìn)程的 CPU 親和性
前面介紹了進(jìn)程與 CPU 綁定的好處后，現(xiàn)在來介紹一下在 Linux 系統(tǒng)下怎么將進(jìn)程與 CPU 進(jìn)行綁定的（也就是設(shè)置進(jìn)程的 CPU 親和性）。
Linux 系統(tǒng)提供了一個名為 sched_setaffinity 的系統(tǒng)調(diào)用，此系統(tǒng)調(diào)用可以設(shè)置進(jìn)程的 CPU 親和性。我們來看看 sched_setaffinity 系統(tǒng)調(diào)用的原型：
- int sched_setaffinity(pid_t pid, size_t cpusetsize, const cpu_set_t *mask);
下面介紹一下 sched_setaffinity 系統(tǒng)調(diào)用各個參數(shù)的作用：
- pid：進(jìn)程ID，也就是要進(jìn)行綁定 CPU 的進(jìn)程ID。
- cpusetsize：mask 參數(shù)所指向的 CPU 集合的大小。
- mask：與進(jìn)程進(jìn)行綁定的 CPU 集合（由于一個進(jìn)程可以綁定到多個 CPU 上運行）。
參數(shù) mask 的類型為 cpu_set_t，而 cpu_set_t 是一個位圖，位圖的每個位表示一個 CPU，如下圖所示：
例如，將 cpu_set_t 的第0位設(shè)置為1，表示將進(jìn)程綁定到 CPU0 上運行，當(dāng)然我們可以將進(jìn)程綁定到多個 CPU 上運行。
我們通過一個例子來介紹怎么通過 sched_setaffinity 系統(tǒng)調(diào)用來設(shè)置進(jìn)程的 CPU 親和性：
- #define _GNU_SOURCE
- #include <sched.h>
- #include <stdio.h>
- #include <string.h>
- #include <stdlib.h>
- #include <unistd.h>
- #include <errno.h>
- int main(int argc, char **argv)
- {
- cpu_set_t cpuset;
- CPU_ZERO(&cpuset); // 初始化CPU集合，將 cpuset 置為空
- CPU_SET(2, &cpuset); // 將本進(jìn)程綁定到 CPU2 上
- // 設(shè)置進(jìn)程的 CPU 親和性
- if (sched_setaffinity(0, sizeof(cpuset), &cpuset) == -1) {
- printf("Set CPU affinity failed, error: %s\n", strerror(errno));
- return -1;
- }
- return 0;
- }
CPU 親和性實現(xiàn)
知道怎么設(shè)置進(jìn)程的 CPU 親和性后，現(xiàn)在我們來分析一下 Linux 內(nèi)核是怎樣實現(xiàn) CPU 親和性功能的。
本文使用的 Linux 內(nèi)核版本為 2.6.23
Linux 內(nèi)核為每個 CPU 定義了一個類型為 struct rq 的 可運行的進(jìn)程隊列，也就是說，每個 CPU 都擁有一個獨立的可運行進(jìn)程隊列。
一般來說，CPU 只會從屬于自己的可運行進(jìn)程隊列中選擇一個進(jìn)程來運行。也就是說，CPU0 只會從屬于 CPU0 的可運行隊列中選擇一個進(jìn)程來運行，而絕不會從 CPU1 的可運行隊列中獲取。
所以，從上面的信息中可以分析出，要將進(jìn)程綁定到某個 CPU 上運行，只需要將進(jìn)程放置到其所屬的 可運行進(jìn)程隊列 中即可。
下面我們來分析一下 sched_setaffinity 系統(tǒng)調(diào)用的實現(xiàn)，sched_setaffinity 系統(tǒng)調(diào)用的調(diào)用鏈如下：
- sys_sched_setaffinity()
- └→ sched_setaffinity()
- └→ set_cpus_allowed()
- └→ migrate_task()
從上面的調(diào)用鏈可以看出，sched_setaffinity 系統(tǒng)調(diào)用最終會調(diào)用 migrate_task 函數(shù)來完成進(jìn)程與 CPU 進(jìn)行綁定的工作，我們來分析一下 migrate_task 函數(shù)的實現(xiàn)：
- static int
- migrate_task(struct task_struct *p, int dest_cpu, struct migration_req *req)
- {
- struct rq *rq = task_rq(p);
- // 情況1:
- // 如果進(jìn)程還沒有在任何運行隊列中
- // 那么只需要將進(jìn)程的 cpu 字段設(shè)置為 dest_cpu 即可
- if (!p->se.on_rq && !task_running(rq, p)) {
- set_task_cpu(p, dest_cpu);
- return 0;
- }
- // 情況2:
- // 如果進(jìn)程已經(jīng)在某一個 CPU 的可運行隊列中
- // 那么需要將進(jìn)程從之前的 CPU 可運行隊列中遷移到新的 CPU 可運行隊列中
- // 這個遷移過程由 migration_thread 內(nèi)核線程完成
- // 構(gòu)建進(jìn)程遷移請求
- init_completion(&req->done);
- req->task = p;
- req->dest_cpudest_cpu = dest_cpu;
- list_add(&req->list, &rq->migration_queue);
- return 1;
- }
我們先來介紹一下 migrate_task 函數(shù)各個參數(shù)的意義：
- p：要設(shè)置 CPU 親和性的進(jìn)程描述符。
- dest_cpu：綁定的 CPU 編號。
- req：進(jìn)程遷移請求對象（下面會介紹）。
所以，migrate_task 函數(shù)的作用就是將進(jìn)程描述符為 p 的進(jìn)程綁定到編號為 dest_cpu 的目標(biāo) CPU 上。
migrate_task 函數(shù)主要分兩種情況來將進(jìn)程綁定到某個 CPU 上：
- 情況1：如果進(jìn)程還沒有在任何 CPU 的可運行隊列中（不可運行狀態(tài)），那么只需要將進(jìn)程描述符的 cpu 字段設(shè)置為 dest_cpu 即可。當(dāng)進(jìn)程變?yōu)榭蛇\行時，會根據(jù)進(jìn)程描述符的 cpu 字段來自動放置到對應(yīng)的 CPU 可運行隊列中。
- 情況2：如果進(jìn)程已經(jīng)在某個 CPU 的可運行隊列中，那么需要將進(jìn)程從之前的 CPU 可運行隊列中遷移到新的 CPU 可運行隊列中。遷移過程由 migration_thread 內(nèi)核線程完成，migrate_task 函數(shù)只是構(gòu)建一個進(jìn)程遷移請求，并通知 migration_thread 內(nèi)核線程有新的遷移請求需要處理。
而進(jìn)程遷移過程由 __migrate_task 函數(shù)完成，我們來看看 __migrate_task 函數(shù)的實現(xiàn)：
- static int
- __migrate_task(struct task_struct *p, int src_cpu, int dest_cpu)
- {
- struct rq *rq_dest, *rq_src;
- int ret = 0, on_rq;
- ...
- rq_src = cpu_rq(src_cpu); // 進(jìn)程所在的原可運行隊列
- rq_dest = cpu_rq(dest_cpu); // 進(jìn)程希望放置的目標(biāo)可運行隊列
- ...
- on_rq = p->se.on_rq; // 進(jìn)程是否在可運行隊列中（可運行狀態(tài)）
- if (on_rq)
- deactivate_task(rq_src, p, 0); // 把進(jìn)程從原來的可運行隊列中刪除
- set_task_cpu(p, dest_cpu);
- if (on_rq) {
- activate_task(rq_dest, p, 0); // 把進(jìn)程放置到目標(biāo)可運行隊列中
- ...
- }
- ...
- return ret;
- }
__migrate_task 函數(shù)主要完成以下兩個工作：
- 把進(jìn)程從原來的可運行隊列中刪除。
- 把進(jìn)程放置到目標(biāo)可運行隊列中。
其工作過程如下圖所示（將進(jìn)程從 CPU0 的可運行隊列遷移到 CPU3 的可運行隊列中）：
如上圖所示，進(jìn)程原本在 CPU0 的可運行隊列中，但由于重新將進(jìn)程綁定到 CPU3，所以需要將進(jìn)程從 CPU0 的可運行隊列遷移到 CPU3 的可運行中。
遷移過程首先將進(jìn)程從 CPU0 的可運行隊列中刪除，然后再將進(jìn)程插入到 CPU3 的可運行隊列中。
當(dāng) CPU 要運行進(jìn)程時，首先從它所屬的可運行隊列中挑選一個進(jìn)程，并將此進(jìn)程調(diào)度到 CPU 中運行。
總結(jié)
從上面的分析可知，其實將進(jìn)程綁定到某個 CPU 只是將進(jìn)程放置到 CPU 的可運行隊列中。
由于每個 CPU 都有一個可運行隊列，所以就有可能會出現(xiàn) CPU 間可運行隊列負(fù)載不均衡問題。如 CPU0 可運行隊列中的進(jìn)程比 CPU1 可運行隊列多非常多，從而導(dǎo)致 CPU0 的負(fù)載非常高，而 CPU1 負(fù)載非常低的情況。
當(dāng)出現(xiàn)上述情況時，就需要對 CPU 間的可運行隊列進(jìn)行重平衡操作，有興趣的可以自行閱讀源碼或參考相關(guān)資料。
