最近在看 JAVA NIO 的相關(guān)知識(shí)，了解一下IO的底層實(shí)現(xiàn)原理。

IO涉及到的底層的概念大致如下：

1) 緩沖區(qū)操作。2) 內(nèi)核空間與用戶空間。3) 虛擬內(nèi)存。4) 分頁(yè)技術(shù)。

一，虛擬存儲(chǔ)器

虛擬存儲(chǔ)器是硬件異常(缺頁(yè)異常)、硬件地址翻譯、主存、磁盤(pán)文件和內(nèi)核軟件的***交互，它為每個(gè)進(jìn)程提供了一個(gè)大的、一致的和私有的地址空間。

虛擬存儲(chǔ)器的三大能力：①將主存看成是一個(gè)存儲(chǔ)在磁盤(pán)上的地址空間的高速緩存。②為每個(gè)進(jìn)程提供了一個(gè)一致的地址空間。③保護(hù)每個(gè)進(jìn)程的地址空間不被其他進(jìn)程破壞。

虛擬內(nèi)存的兩大好處：① 一個(gè)以上的虛擬地址可指向同一個(gè)物理內(nèi)存地址。② 虛擬內(nèi)存空間可大于實(shí)際可用的硬件內(nèi)存。

[[207226]]

二，用戶空間與內(nèi)核空間

設(shè)虛擬地址為32位，那么虛擬地址空間的范圍為0~4G。操作系統(tǒng)將這4G分為二部分，將***的1G字節(jié)(虛擬地址范圍為：0xC0000000-0xFFFFFFFF)供內(nèi)核使用，稱為內(nèi)核空間。而將較低的3G字節(jié)供各個(gè)進(jìn)程使用，稱為用戶空間。

每個(gè)進(jìn)程可以通過(guò)系統(tǒng)調(diào)用進(jìn)入內(nèi)核，因?yàn)閮?nèi)核是由所有的進(jìn)程共享的。對(duì)于每一個(gè)具體的進(jìn)程，它看到的都是4G大小的虛擬地址空間，即相當(dāng)于每個(gè)進(jìn)程都擁有一個(gè)4G大小的虛擬地址空間。

三，IO操作

一般IO緩沖區(qū)操作：

1) 用戶進(jìn)程使用read()系統(tǒng)調(diào)用，要求其用戶空間的緩沖區(qū)被填滿。

2) 內(nèi)核向磁盤(pán)控制器硬件發(fā)命令，要求從磁盤(pán)讀入數(shù)據(jù)。

3) 磁盤(pán)控制器以DMA方式(數(shù)據(jù)不經(jīng)過(guò)CPU)把數(shù)據(jù)復(fù)制到內(nèi)核緩沖區(qū)。

4) 內(nèi)核將數(shù)據(jù)從內(nèi)核緩沖區(qū)復(fù)制到用戶進(jìn)程發(fā)起read()調(diào)用時(shí)指定的用戶緩沖區(qū)。

從上圖可以看出：磁盤(pán)中的數(shù)據(jù)是先讀取到內(nèi)核的緩沖區(qū)中。然后再?gòu)膬?nèi)核的緩沖區(qū)復(fù)制到用戶的緩沖區(qū)。為什么會(huì)這樣呢?

因?yàn)橛脩艨臻g的進(jìn)程是不能直接硬件的(操作磁盤(pán)控制器)。磁盤(pán)是基于塊存儲(chǔ)的硬件設(shè)備，它一次操作固定大小的塊，而用戶請(qǐng)求請(qǐng)求的可能是任意大小的數(shù)據(jù)塊。因此，將數(shù)據(jù)從磁盤(pán)傳遞到用戶空間，由內(nèi)核負(fù)責(zé)數(shù)據(jù)的分解、再組合。

內(nèi)存映射IO：就是復(fù)用一個(gè)以上的虛擬地址可以指向同一個(gè)物理內(nèi)存地址。將內(nèi)核空間的緩沖區(qū)地址(內(nèi)核地址空間)映射到物理內(nèi)存地址區(qū)域，將用戶空間的緩沖區(qū)地址(用戶地址空間)也映射到相同的物理內(nèi)存地址區(qū)域。從而數(shù)據(jù)不需要從內(nèi)核緩沖區(qū)映射的物理內(nèi)存地址移動(dòng)到用戶緩沖區(qū)映射的物理內(nèi)存地址了。

要求：①用戶緩沖區(qū)與內(nèi)核緩沖區(qū)必須使用相同的頁(yè)大小對(duì)齊。②緩沖區(qū)的大小必須是磁盤(pán)控制器塊大小(512字節(jié)磁盤(pán)扇區(qū))的倍數(shù)---因?yàn)榇疟P(pán)是基于塊存儲(chǔ)的硬件設(shè)備，一次只能操作固定大小的數(shù)據(jù)塊。

用戶緩沖區(qū)按頁(yè)對(duì)齊，會(huì)提高IO的效率---這也是為什么在JAVA中new 一個(gè)字節(jié)數(shù)組時(shí)，指定的大小為2的倍數(shù)(4096)的原因吧。

四，JAVA中的IO，本質(zhì)上是把數(shù)據(jù)移進(jìn)或者移出緩沖區(qū)。

read()和write()系統(tǒng)調(diào)用完成的作用是：把內(nèi)核緩沖區(qū)映射的物理內(nèi)存空間中的數(shù)據(jù) 拷貝到 用戶緩沖區(qū)映射的物理內(nèi)存空間中。

因此，當(dāng)使用內(nèi)存映射IO時(shí)，可視為：用戶進(jìn)程直接把文件數(shù)據(jù)當(dāng)作內(nèi)存，也就不需要使用read()或write()系統(tǒng)調(diào)用了。

當(dāng)發(fā)起一個(gè)read()系統(tǒng)調(diào)用時(shí)，根據(jù)待讀取的數(shù)據(jù)的位置生成一個(gè)虛擬地址(用戶進(jìn)程使用的是虛擬地址)，由MMU轉(zhuǎn)換成物理地址，若內(nèi)核中沒(méi)有相應(yīng)的數(shù)據(jù)，產(chǎn)生一個(gè)缺頁(yè)請(qǐng)求，內(nèi)核負(fù)責(zé)頁(yè)面調(diào)入從而將數(shù)據(jù)從磁盤(pán)讀取到內(nèi)核緩沖區(qū)映射的物理內(nèi)存中。對(duì)用戶程序而言，這一切都是在不知不覺(jué)中進(jìn)行。

總之，從根本上講數(shù)據(jù)從磁盤(pán)裝入內(nèi)存是以頁(yè)為單位通過(guò)分頁(yè)技術(shù)裝入內(nèi)存的。

五，JAVA NIO中的直接緩存和非直接緩存

直接緩存：不是分配于堆上的存儲(chǔ)，位于JVM之外，它不受JAVA的GC管理，相當(dāng)于內(nèi)核緩沖區(qū)。非直接緩存：建立在JAVA堆上的緩存，受JVM管理，相當(dāng)于用戶緩沖區(qū)。

根據(jù)上面第三點(diǎn)，將直接緩存中的數(shù)據(jù)寫(xiě)入通道的速度要快于非直接緩存。因?yàn)椋B接到通道的另一端是文件(磁盤(pán)，F(xiàn)ileChannel)或者網(wǎng)絡(luò)(Socket通道)，這些都是某種形式上的硬件。那么，對(duì)于非直接緩存而言，數(shù)據(jù)從緩沖區(qū)傳遞到硬件，要經(jīng)過(guò)內(nèi)核緩沖區(qū)中轉(zhuǎn)。而對(duì)于直接緩存而言，就不需要了，因?yàn)橹苯泳彺嬉呀?jīng)直接映射到內(nèi)核緩沖區(qū)了。