Redis的快照為什么不會阻塞其他請求？
為什么這么設(shè)計（Why's THE Design）是一系列關(guān)于計算機領(lǐng)域中程序設(shè)計決策的文章，我們在這個系列的每一篇文章中都會提出一個具體的問題并從不同的角度討論這種設(shè)計的優(yōu)缺點、對具體實現(xiàn)造成的影響。如果你有想要了解的問題，可以在文章下面留言。
雖然我們經(jīng)常將 Redis 看做一個純內(nèi)存的鍵值存儲系統(tǒng)，但是我們也會用到它的持久化功能，RDB 和 AOF 就是 Redis 為我們提供的兩種持久化工具，其中 RDB 就是 Redis 的數(shù)據(jù)快照，我們在這篇文章想要分析 Redis 為什么在對數(shù)據(jù)進(jìn)行快照持久化時會需要使用子進(jìn)程，而不是將內(nèi)存中的數(shù)據(jù)結(jié)構(gòu)直接導(dǎo)出到磁盤上進(jìn)行存儲。
概述
在具體分析今天的問題之前，我們首先需要了解 Redis 的持久化存儲機制 RDB 究竟是什么，RDB 會每隔一段時間中對 Redis 服務(wù)中當(dāng)下的數(shù)據(jù)集進(jìn)行快照，除了 Redis 的配置文件可以對快照的間隔進(jìn)行設(shè)置之外，Redis 客戶端還同時提供兩個命令來生成 RDB 存儲文件，也就是 SAVE 和 BGSAVE，通過命令的名字我們就能猜出這兩個命令的區(qū)別。
其中 SAVE 命令在執(zhí)行時會直接阻塞當(dāng)前的線程，由于 Redis 是 單線程 的，所以 SAVE 命令會直接阻塞來自客戶端的所有其他請求，這在很多時候?qū)τ谛枰峁┹^強可用性保證的 Redis 服務(wù)都是無法接受的。
我們往往需要 BGSAVE 命令在后臺生成 Redis 全部數(shù)據(jù)對應(yīng)的 RDB 文件，當(dāng)我們使用 BGSAVE 命令時，Redis 會立刻 fork 出一個子進(jìn)程，子進(jìn)程會執(zhí)行『將內(nèi)存中的數(shù)據(jù)以 RDB 格式保存到磁盤中』這一過程，而 Redis 服務(wù)在 BGSAVE 工作期間仍然可以處理來自客戶端的請求。
rdbSaveBackground 就是用來處理在后臺將數(shù)據(jù)保存到磁盤上的函數(shù)：
- int rdbSaveBackground(char *filename, rdbSaveInfo *rsi) {
- pid_t childpid;
- if (hasActiveChildProcess()) return C_ERR;
- ...
- if ((childpid = redisFork()) == 0) {
- int retval;
- /* Child */
- redisSetProcTitle("redis-rdb-bgsave");
- retval = rdbSave(filename,rsi);
- if (retval == C_OK) {
- sendChildCOWInfo(CHILD_INFO_TYPE_RDB, "RDB");
- }
- exitFromChild((retval == C_OK) ? 0 : 1);
- } else {
- /* Parent */
- ...
- }
- ...
- }
Redis 服務(wù)器會在觸發(fā) BGSAVE 時調(diào)用 redisFork 函數(shù)來創(chuàng)建子進(jìn)程并調(diào)用 rdbSave 在子進(jìn)程中對數(shù)據(jù)進(jìn)行持久化，我們在這里雖然省略了函數(shù)中的一些內(nèi)容，但是整體的結(jié)構(gòu)還是非常清晰的，感興趣的讀者可以在點擊上面的鏈接了解整個函數(shù)的實現(xiàn)。
使用 fork 的目的最終一定是為了不阻塞主進(jìn)程來提升 Redis 服務(wù)的可用性，但是到了這里我們其實能夠發(fā)現(xiàn)兩個問題：
- 為什么 fork 之后的子進(jìn)程能夠獲取父進(jìn)程內(nèi)存中的數(shù)據(jù)？
- fork 函數(shù)是否會帶來額外的性能開銷，這些開銷我們怎么樣才可以避免？
既然 Redis 選擇使用了 fork 的方式來解決快照持久化的問題，那就說明這兩個問題已經(jīng)有了答案，首先 fork 之后的子進(jìn)程是可以獲取父進(jìn)程內(nèi)存中的數(shù)據(jù)的，而 fork 帶來的額外性能開銷相比阻塞主線程也一定是可以接受的，只有同時具備這兩點，Redis 最終才會選擇這樣的方案。
設(shè)計
為了分析上一節(jié)提出的兩個問題，我們在這里需要了解以下的這些內(nèi)容，這些內(nèi)容是 Redis 服務(wù)器使用 fork 函數(shù)的前提條件，也是最終促使它選擇這種實現(xiàn)方式的關(guān)鍵：
- 通過 fork 生成的父子進(jìn)程會共享包括內(nèi)存空間在內(nèi)的資源；
- fork 函數(shù)并不會帶來明顯的性能開銷，尤其是對內(nèi)存進(jìn)行大量的拷貝，它能通過寫時拷貝將拷貝內(nèi)存這一工作推遲到真正需要的時候；
子進(jìn)程
在計算機編程領(lǐng)域，尤其是 Unix 和類 Unix 系統(tǒng)中，fork 都是一個進(jìn)程用于創(chuàng)建自己拷貝的操作，它往往都是被操作系統(tǒng)內(nèi)核實現(xiàn)的系統(tǒng)調(diào)用，也是操作系統(tǒng)在 *nix 系統(tǒng)中創(chuàng)建新進(jìn)程的主要方法。
當(dāng)程序調(diào)用了 fork 方法之后，我們就可以通過 fork 的返回值確定父子進(jìn)程，以此來執(zhí)行不同的操作：
- fork 函數(shù)返回 0 時，意味著當(dāng)前進(jìn)程是子進(jìn)程；
- fork 函數(shù)返回非 0 時，意味著當(dāng)前進(jìn)程是父進(jìn)程，返回值是子進(jìn)程的 pid；
- int main() {
- if (fork() == 0) {
- // child process
- } else {
- // parent process
- }
- }
在 fork 的 手冊 中，我們會發(fā)現(xiàn)調(diào)用 fork 后的父子進(jìn)程會運行在不同的內(nèi)存空間中，當(dāng) fork 發(fā)生時兩者的內(nèi)存空間有著完全相同的內(nèi)容，對內(nèi)存的寫入和修改、文件的映射都是獨立的，兩個進(jìn)程不會相互影響。
The child process and the parent process run in separate memory spaces. At the time of fork() both memory spaces have the same content. Memory writes, file mappings (mmap(2)), and unmappings (munmap(2)) performed by one of the processes do not affect other.
除此之外，子進(jìn)程幾乎是父進(jìn)程的完整副本（Exact duplicate），然而這兩個進(jìn)程在以下的一些方面會有較小的區(qū)別：
- 子進(jìn)程用于獨立且唯一的進(jìn)程 ID；
- 子進(jìn)程的父進(jìn)程 ID 與父進(jìn)程 ID 完全相同；
- 子進(jìn)程不會繼承父進(jìn)程的內(nèi)存鎖；
- 子進(jìn)程會重新設(shè)置進(jìn)程資源利用率和 CPU 計時器；
- ...
最關(guān)鍵的點在于父子進(jìn)程的內(nèi)存在 fork 時是完全相同的，在 fork 之后進(jìn)行寫入和修改也不會相互影響，這其實就完美的解決了快照這個場景的問題 —— 只需要某個時間點下內(nèi)存中的數(shù)據(jù)，而父進(jìn)程可以繼續(xù)對自己的內(nèi)存進(jìn)行修改，這既不會被阻塞，也不會影響生成的快照。
寫時拷貝
既然父進(jìn)程和子進(jìn)程擁有完全相同的內(nèi)存空間并且兩者對內(nèi)存的寫入都不會相互影響，那么是否意味著子進(jìn)程在 fork 時需要對父進(jìn)程的內(nèi)存進(jìn)行全量的拷貝呢？假設(shè)子進(jìn)程需要對父進(jìn)程的內(nèi)存進(jìn)行拷貝，這對于 Redis 服務(wù)來說基本都是災(zāi)難性的，尤其是在以下的兩個場景中：
- 內(nèi)存中存儲大量的數(shù)據(jù)，fork 時拷貝內(nèi)存空間會消耗大量的時間和資源，會導(dǎo)致程序一段時間的不可用；
- Redis 占用了 10G 的內(nèi)存，而物理機或者虛擬機的資源上限只有 16G，在這時我們就無法對 Redis 中的數(shù)據(jù)進(jìn)行持久化，也就是說 Redis 對機器上內(nèi)存資源的最大利用率不能超過 50%；
如果無法解決上面的兩個問題，使用 fork 來生成內(nèi)存鏡像的方式也無法真正落地，不是一個工程中真正可以使用的方法。
就算脫離了 Redis 的場景，fork 時全量拷貝內(nèi)存也是難以接受的，假設(shè)我們需要在命令行中執(zhí)行一個命令，我們需要先通過 fork 創(chuàng)建一個新的進(jìn)程再通過 exec 來執(zhí)行程序，fork 拷貝的大量內(nèi)存空間對于子進(jìn)程來說可能完全沒有任何作用的，但是卻引入了巨大的額外開銷。
寫時拷貝（Copy-on-Write）的出現(xiàn)就是為了解決這一問題，就像我們在這一節(jié)開頭介紹的，寫時拷貝的主要作用就是將拷貝推遲到寫操作真正發(fā)生時，這也就避免了大量無意義的拷貝操作。在一些早期的 *nix 系統(tǒng)上，系統(tǒng)調(diào)用 fork 確實會立刻對父進(jìn)程的內(nèi)存空間進(jìn)行復(fù)制，但是在今天的多數(shù)系統(tǒng)中，fork 并不會立刻觸發(fā)這一過程：
在 fork 函數(shù)調(diào)用時，父進(jìn)程和子進(jìn)程會被 Kernel 分配到不同的虛擬內(nèi)存空間中，所以在兩個進(jìn)程看來它們訪問的是不同的內(nèi)存：
- 在真正訪問虛擬內(nèi)存空間時，Kernel 會將虛擬內(nèi)存映射到物理內(nèi)存上，所以父子進(jìn)程共享了物理上的內(nèi)存空間；
- 當(dāng)父進(jìn)程或者子進(jìn)程對共享的內(nèi)存進(jìn)行修改時，共享的內(nèi)存才會以頁為單位進(jìn)行拷貝，父進(jìn)程會保留原有的物理空間，而子進(jìn)程會使用拷貝后的新物理空間；
在 Redis 服務(wù)中，子進(jìn)程只會讀取共享內(nèi)存中的數(shù)據(jù)，它并不會執(zhí)行任何寫操作，只有父進(jìn)程會在寫入時才會觸發(fā)這一機制，而對于大多數(shù)的 Redis 服務(wù)或者數(shù)據(jù)庫，寫請求往往都是遠(yuǎn)小于讀請求的，所以使用 fork 加上寫時拷貝這一機制能夠帶來非常好的性能，也讓 BGSAVE 這一操作的實現(xiàn)變得非常簡單。
總結(jié)
Redis 實現(xiàn)后臺快照的方式非常巧妙，通過操作系統(tǒng)提供的 fork 和寫時拷貝的特性輕而易舉的就實現(xiàn)了這個功能，從這里我們就能看出作者對于操作系統(tǒng)知識的掌握還是非常扎實的，大多人在面對類似的場景時，想到的方法可能就是手動實現(xiàn)類似『寫時拷貝』的特性，然而這不僅增加了工作量，還增加了程序出現(xiàn)問題的可能性。
到這里，我們簡單總結(jié)一下 Redis 為什么在使用 RDB 進(jìn)行快照時會通過子進(jìn)程的方式進(jìn)行實現(xiàn)：
- 通過 fork 創(chuàng)建的子進(jìn)程能夠獲得和父進(jìn)程完全相同的內(nèi)存空間，父進(jìn)程對內(nèi)存的修改對于子進(jìn)程是不可見的，兩者不會相互影響；
- 通過 fork 創(chuàng)建子進(jìn)程時不會立刻觸發(fā)大量內(nèi)存的拷貝，內(nèi)存在被修改時會以頁為單位進(jìn)行拷貝，這也就避免了大量拷貝內(nèi)存而帶來的性能問題；
上述兩個原因中，一個為子進(jìn)程訪問父進(jìn)程提供了支撐，另一個為減少額外開銷做了支持，這兩者缺一不可，共同成為了 Redis 使用子進(jìn)程實現(xiàn)快照持久化的原因。到最后，我們還是來看一些比較開放的相關(guān)問題，有興趣的讀者可以仔細(xì)思考一下下面的問題：
- Nginx 的主進(jìn)程會在運行時 fork 一組子進(jìn)程，這些子進(jìn)程可以分別處理請求，還有哪些服務(wù)會使用這一特性？
- 寫時拷貝其實是一個比較常見的機制，在 Redis 之外還有哪里會用到它？
如果對文章中的內(nèi)容有疑問或者想要了解更多軟件工程上一些設(shè)計決策背后的原因，可以在博客下面留言，作者會及時回復(fù)本文相關(guān)的疑問并選擇其中合適的主題作為后續(xù)的內(nèi)容。
Reference
- Redis Persistence
- Understanding Redis Background Memory Usage
- FAQ · Redis
- Copy-on-write
- rdbSaveBackground · Redis
- Fork (system call)
- Which file in kernel specifies fork(), vfork()… to use sys_clone() system call
- Trying to understand fork() and Copy-on-Write (COW)
