Linux下訪問匿名頁發生的神奇“化學反應”
Linux中有后備文件支持的頁稱為文件頁，如屬于進程的代碼段、數據段的頁，內存回收的時候這些頁面只需要做臟頁的同步即可（干凈的頁面可以直接丟棄掉）。反之為匿名頁，如進程的堆棧使用的頁，內存回收的時候這些頁面不能簡單的丟棄掉，需要交換到交換分區或交換文件。本文中，主要分析匿名頁的訪問將發生哪些可能顛覆我們認知的"化學反應"。
1.實例代碼
首先以一個簡單的示例代碼來說明：
- #include <stdio.h>
- #include <stdlib.h>
- #include <unistd.h>
- #include <string.h>
- #include <sys/mman.h>
- #define MAP_SIZE (100 * 1024 * 1024)
- int main(int argc, char *argv[])
- {
- char *p;
- char val;
- int i;
- puts("before mmap ok, pleace exec 'free -m'!");
- sleep(5);
- //mmap
- p = mmap(NULL, MAP_SIZE, PROT_READ | PROT_WRITE, MAP_PRIVATE | MAP_ANONYMOUS, -1, 0);
- if(p == NULL) {
- perror("fail to malloc");
- return -1;
- }
- puts("after mmap ok, pleace exec 'free -m'!");
- sleep(5);
- //read
- for (i = 0; i < MAP_SIZE; i++) {
- val = p[i];
- }
- puts("read ok, pleace exec 'free -m'!");
- sleep(5);
- #if 1
- //write
- memset(p, 0x55, MAP_SIZE);
- puts("write ok, pleace exec 'free -m'!");
- #endif
- //sleep
- pause();
- return 0;
- }
代碼非常簡單：首先通過mmap分配100M的私有可讀可寫匿名頁面，然后進行讀寫訪問，分別在提示的時候在另外一個窗口執行free -m命令查看輸出結果。
程序執行結果如下：
- $ ./anon_rw_demo
- before mmap ok, pleace exec 'free -m'!
- after mmap ok, pleace exec 'free -m'!
- read ok, pleace exec 'free -m'!
- write ok, pleace exec 'free -m'!
命令執行結果如下：
- $ free -m
- 總計 已用 空閑 共享 緩沖/緩存 可用
- 內存： 15729 8286 1945 895 5497 6220
- 交換： 16290 1599 14691
- $ free -m
- 總計 已用 空閑 共享 緩沖/緩存 可用
- 內存： 15729 8286 1945 895 5497 6220
- 交換： 16290 1599 14691
- $ free -m
- 總計 已用 空閑 共享 緩沖/緩存 可用
- 內存： 15729 8286 1945 895 5497 6220
- 交換： 16290 1599 14691
- $ free -m
- 總計 已用 空閑 共享 緩沖/緩存 可用
- 內存： 15729 8383 1848 895 5497 6123
- 交換： 16290 1599 14691
可以看到：
第一次提示執行free命令的時候，我們還沒有開始通過mmap分配內存，此時free命令輸出作為參考。
第二次提示執行free命令的時候，我們已經通過mmap分配了100M的內存，此時發現free命令輸出內存消耗基本沒有變化。
第三次提示執行free命令的時候，我們對于分配的匿名頁面進行了讀操作，此時發現free命令輸出內存消耗頁基本沒有變化, 這基本上會顛覆我們的認知。
第四次提示執行free命令的時候，我們對于分配的匿名頁面進行了寫操作，此時發現free命令輸出內存消耗大概為100M。
2.內核原理
下面我們從Linux內核的層面來解析發生以上神奇現象的原理。
2.1 mmap的內存消耗
mmap申請匿名頁的時候，只是申請了虛擬內存（通過vm_area_struct結構來描述，如描述虛擬內存區域的地址范圍、訪問權限等，以下簡稱vma），實際的物理內存并沒有申請（除了用于管理虛擬內存區域的vma等結構內存的申請），當前虛擬內存和物理內存并沒有建立頁表映射關系，而真正的申請的匿名頁所對應的物理頁在實際訪問的時候按需分配獲得，所以此時我們看不到內存的消耗情況。
2.2 第一次讀匿名頁的內存消耗
通過mmap申請完虛擬內存之后，進程就可以按照之前申請vma的訪問權限進行訪問，第一發生讀訪問，這個時候由于虛擬內存和物理內存并沒有建立頁表映射關系，通過虛擬地址并不能查找到物理內存，所以會發生處理器的異常，最終分析是因為數據訪問異常導致，就由處理器架構相關的代碼進入了我們通用的缺頁異常處理例程中。
缺頁異常調用鏈如下：
- "mm/memory.c"
- 處理器架構相關異常處理代碼
- -> handle_mm_fault
- -> __handle_mm_fault
- -> handle_pte_fault
- -> if (!vmf->pte) { ------------------- 1
- if (vma_is_anonymous(vmf->vma)) ------------------- 2
- return do_anonymous_page(vmf); ------------------- 3
缺頁異常進入handle_pte_fault后，在1標簽代碼處，來判斷訪問的虛擬內存頁的頁表項是否為空，為空說明這個這個虛擬頁沒有和物理頁建立映射關系。然后在2標簽代碼處判斷是否為匿名頁缺頁異常（實際上是判斷是否為私有的匿名頁，當前當前示例代碼場景申請的為私有匿名頁面）。在3標簽代碼處，進行真正的私有匿名頁缺頁異常處理。
下面主要看下第一次讀匿名頁的處理：
- do_anonymous_page
- ->pte_alloc(vma->vm_mm, vmf->pmd) ------------------- 1
- ->/* Use the zero-page for reads */
- if (!(vmf->flags & FAULT_FLAG_WRITE) && ------------------- 2
- !mm_forbids_zeropage(vma->vm_mm)) { ------------------- 3
- entry = pte_mkspecial(pfn_pte(my_zero_pfn(vmf->address),
- vma->vm_page_prot)); ------------------- 4
- vmf->pte = pte_offset_map_lock(vma->vm_mm, vmf->pmd,
- vmf->address, &vmf->ptl); ------------------- 5
- ...
- goto setpte;
- }
- -> page = alloc_zeroed_user_highpage_movable(vma, vmf->address); ------------------- 6
- -> entry = mk_pte(page, vma->vm_page_prot); ------------------- 7
- entry = pte_sw_mkyoung(entry); ------------------- 8
- if (vma->vm_flags & VM_WRITE)
- entry = pte_mkwrite(pte_mkdirty(entry)); ------------------- 9
- vmf->pte = pte_offset_map_lock(vma->vm_mm, vmf->pmd, vmf->address,
- &vmf->ptl); ------------------- 10
- ->set_pte_at(vma->vm_mm, vmf->address, vmf->pte, entry); ------------------- 11
1標簽處：判斷虛擬地址對應的pmd表項是否為空，為空來分配直接頁表設置到pmd表項中。
2標簽處：判斷是否是進行讀訪問。
3標簽處：判斷是否沒有禁止0頁。
4標簽處：就是對于沒有禁止0頁的匿名頁讀訪問設置頁表，這里通過0頁的頁幀號和mmap映射時指定的訪問權限組合頁表項的值。
5標簽處：通過發生缺頁的虛擬地址來計算出頁表項的地址保存在 vmf->pte。
最11標簽處：將4標簽初組合出的頁表項的值寫入到5標簽初計算出的頁表項中。
以上分析可知：對于私有的匿名頁，第一次讀訪問的時候都會發生缺頁異常，然后通過頁表映射0頁，這個0頁沒有什么特殊之處，只不過它是在系統啟動過程中初始化好的一塊內容全為0的頁面，這樣做可以為進程分配了內存只進行讀訪問節省大量物理內存。
2.3 第一次寫匿名頁的內存消耗
大家可以將示例代碼中，讀訪問屏蔽掉只進行寫訪問，觀察內存消耗。
這個時候發生缺頁異常時，不會在走2 3 4 5 便簽處代碼，而在6處分配了一個物理頁面，在7 8 9組合頁表項的值， 10處計算出頁表項的地址，最后把組合的值設置到頁表項中。
需要注意第9處，如果是寫訪問會設置頁表項的可寫標志位。
以上分析可知：對于私有的匿名頁，第一次寫訪問的時候都會發生缺頁異常，會真正分配一個物理頁面，然后將虛擬頁面通過頁面映射到物理頁面，所以我們能觀察到寫之后發生了大量內存消耗。
2.4 第一次讀然后寫匿名頁的內存消耗
這種場景就是示例代碼中所做的實驗，可以看到讀的時候基本上沒有內存消耗，寫的時候發生了大量內存消耗。
關于第一次讀，上面已經做過解釋，下面主要看讀完之后的頁面發生寫訪問的情況。
2.4.1 從mmap說起
實際上，對于一個私有的內存映射，在mmap的時候為頁表映射準備訪問權限的時候并不是給予所有的權限，而是把可寫屬性去掉了。
我們可以從源代碼找到答案：
- "mm/mmap.c"
- do_mmap
- ->mmap_region
- ->vma_set_page_prot(vma)
- ->vm_page_prot = vm_pgprot_modify(vma->vm_page_prot, vm_flags); ---------1
- ->pgprot_modify(oldprot, vm_get_page_prot(vm_flags))
- ->WRITE_ONCE(vma->vm_page_prot, vm_page_prot); ---------------2
- /* description of effects of mapping type and prot in current implementation.
- * this is due to the limited x86 page protection hardware. The expected
- * behavior is in parens:
- *
- * map_type prot
- * PROT_NONE PROT_READ PROT_WRITE PROT_EXEC
- * MAP_SHARED r: (no) no r: (yes) yes r: (no) yes r: (no) yes
- * w: (no) no w: (no) no w: (yes) yes w: (no) no
- * x: (no) no x: (no) yes x: (no) yes x: (yes) yes
- *
- * MAP_PRIVATE r: (no) no r: (yes) yes r: (no) yes r: (no) yes
- * w: (no) no w: (no) no w: (copy) copy w: (no) no
- * x: (no) no x: (no) yes x: (no) yes x: (yes) yes
- */
- ->vm_get_page_prot
- pgprot_t protection_map[16] __ro_after_init = {
- __P000, __P001, __P010, __P011, __P100, __P101, __P110, __P111,
- __S000, __S001, __S010, __S011, __S100, __S101, __S110, __S111
- };
對于__Pxxx， 最后一個x表示vma屬性是否可讀，倒數第二個x表示vma屬性是否可寫，P后面的x表示是否可執行。
1標簽處根據mmap傳遞的訪問權限來構造最終的訪問權限標識。
2標簽處將構造好的訪問權限標識記錄到vma->vm_page_prot中，供缺頁異常設置頁表使用。
注釋中已經做了詳細的解釋，具體頁表屬性如何表示由各自的處理器架構相關代碼來做（eg: 對于x86架構 #define __P111 PAGE_COPY_EXEC），我們只需要知道：無論我們想讓vma具備那些屬性組合，都會屏蔽掉寫屬性，具體可以查看相關的處理器架構實現。
所以，再次回到缺頁異常處理代碼中。在2.2小節的4標簽處，使用mmap設置好的頁表訪問權限設置頁表屬性，當前場景我們知道，mmap中指定為私有的可讀可寫屬性，而頁表中只是設置為了只讀屬性。
2.4.2 寫時復制的觸發
讀訪問將虛擬頁以只讀的方式映射到了0頁，當再次發生寫操作時，就會再次觸數據訪問異常，最終進入缺頁異常處理例程中。
下面給出調用鏈：
- "mm/memory.c"
- handle_pte_fault
- ->if (vmf->flags & FAULT_FLAG_WRITE) { -----------1
- if (!pte_write(entry)) -----------2
- return do_wp_page(vmf); -----------3
可以看到最終也是在handle_pte_fault中處理：在1標簽處判斷是否為寫訪問。在2標簽處判斷頁表項的屬性是否是只讀。在3標簽處進行實際的寫時復制處理。
以上分析可知：發生寫訪問操作時，如果vma可寫，但是頁表屬性標識不可寫（只讀），會發生寫時復制缺頁異常，對于當前場景的0頁的寫訪問就是如此，在do_wp_page中會重新分配物理頁面映射到虛擬頁面，然后頁表設置為可寫屬性，就完成了缺頁處理。
3.總結
1）mmap分配私有匿名內存時，會設置vma的vm_page_prot成員，去除掉頁表的寫訪問標識。
2）第一次讀匿名頁時，對于可讀可寫的vma，虛擬頁會以只讀的方式映射到0頁。
3）第一次寫匿名頁時，對于可讀可寫的vma，會申請物理頁面，虛擬頁以可讀可寫的方式映射到此物理頁。
4）第一次讀匿名頁后，然后寫匿名頁，先只讀方式映射到0頁，然后發生寫時復制，分配物理頁，虛擬頁以可讀可寫的方式映射到此物理頁。
可以發現，訪問匿名頁面時發生的“化學反應”并不是那么的簡單，其中會涉及mmap的映射原則，0頁的映射，匿名頁面的處理，寫時復制的處理等等，而且讀寫順序不一樣，產生的結果也會不一樣，大家可以結合內核源代碼進行分析，希望對大家理解匿名頁缺頁異常有所幫助。
