Java NIO原理圖文分析及代碼實現

作者：逸情公子 2012-04-11 15:41:48

最近在分析hadoop的RPC，遠程過程調用協議，它是一種通過網絡從遠程計算機程序上請求服務，而不需要了解底層網絡技術的協議。機制時，發現hadoop的RPC機制的實現主要用到了兩個技術：動態代理和java NIO。為了能夠正確地分析hadoop的RPC源碼，我覺得很有必要先研究一下java NIO的原理和具體實現。

前言：

最近在分析hadoop的RPC(Remote Procedure Call Protocol ，遠程過程調用協議，它是一種通過網絡從遠程計算機程序上請求服務，而不需要了解底層網絡技術的協議。可以參考：http://baike.baidu.com/view/32726.htm ）機制時，發現hadoop的RPC機制的實現主要用到了兩個技術：動態代理（動態代理可以參考博客：http://weixiaolu.iteye.com/blog/1477774 ）和java NIO。為了能夠正確地分析hadoop的RPC源碼，我覺得很有必要先研究一下java NIO的原理和具體實現。

這篇博客我主要從兩個方向來分析java NIO

目錄：

一．java NIO 和阻塞I/O的區別

阻塞I/O通信模型
java NIO原理及通信模型

二．java NIO服務端和客戶端代碼實現

具體分析：

一．java NIO 和阻塞I/O的區別

1. 阻塞I/O通信模型

假如現在你對阻塞I/O已有了一定了解，我們知道阻塞I/O在調用InputStream.read()方法時是阻塞的，它會一直等到數據到來時（或超時）才會返回；同樣，在調用ServerSocket.accept()方法時，也會一直阻塞到有客戶端連接才會返回，每個客戶端連接過來后，服務端都會啟動一個線程去處理該客戶端的請求。阻塞I/O的通信模型示意圖如下：

如果你細細分析，一定會發現阻塞I/O存在一些缺點。根據阻塞I/O通信模型，我總結了它的兩點缺點：

當客戶端多時，會創建大量的處理線程。且每個線程都要占用棧空間和一些CPU時間
阻塞可能帶來頻繁的上下文切換，且大部分上下文切換可能是無意義的。

在這種情況下非阻塞式I/O就有了它的應用前景。

2. java NIO原理及通信模型

Java NIO是在jdk1.4開始使用的，它既可以說成“新I/O”，也可以說成非阻塞式I/O。下面是java NIO的工作原理：

由一個專門的線程來處理所有的 IO 事件，并負責分發。
事件驅動機制：事件到的時候觸發，而不是同步的去監視事件。
線程通訊：線程之間通過 wait,notify 等方式通訊。保證每次上下文切換都是有意義的。減少無謂的線程切換。

閱讀過一些資料之后，下面貼出我理解的java NIO的工作原理圖：

（注：每個線程的處理流程大概都是讀取數據、解碼、計算處理、編碼、發送響應。）

Java NIO的服務端只需啟動一個專門的線程來處理所有的 IO 事件，這種通信模型是怎么實現的呢？呵呵，我們一起來探究它的奧秘吧。java NIO采用了雙向通道（channel）進行數據傳輸，而不是單向的流（stream），在通道上可以注冊我們感興趣的事件。一共有以下四種事件：

事件名	對應值
服務端接收客戶端連接事件	SelectionKey.OP_ACCEPT(16)
客戶端連接服務端事件	SelectionKey.OP_CONNECT(8)
讀事件	SelectionKey.OP_READ(1)
寫事件	SelectionKey.OP_WRITE(4)

服務端和客戶端各自維護一個管理通道的對象，我們稱之為selector，該對象能檢測一個或多個通道 (channel) 上的事件。我們以服務端為例，如果服務端的selector上注冊了讀事件，某時刻客戶端給服務端發送了一些數據，阻塞I/O這時會調用read()方法阻塞地讀取數據，而NIO的服務端會在selector中添加一個讀事件。服務端的處理線程會輪詢地訪問selector，如果訪問selector時發現有感興趣的事件到達，則處理這些事件，如果沒有感興趣的事件到達，則處理線程會一直阻塞直到感興趣的事件到達為止。下面是我理解的java NIO的通信模型示意圖：

二．java NIO服務端和客戶端代碼實現

為了更好地理解java NIO,下面貼出服務端和客戶端的簡單代碼實現。

服務端：

package cn.nio;  
 
import java.io.IOException;  
import java.net.InetSocketAddress;  
import java.nio.ByteBuffer;  
import java.nio.channels.SelectionKey;  
import java.nio.channels.Selector;  
import java.nio.channels.ServerSocketChannel;  
import java.nio.channels.SocketChannel;  
import java.util.Iterator;  
 
/**  
 * NIO服務端  
 * @author 小路  
 */ 
public class NIOServer {  
    //通道管理器  
    private Selector selector;  
 
    /**  
     * 獲得一個ServerSocket通道，并對該通道做一些初始化的工作  
     * @param port  綁定的端口號  
     * @throws IOException  
     */ 
    public void initServer(int port) throws IOException {  
        // 獲得一個ServerSocket通道  
        ServerSocketChannel serverChannel = ServerSocketChannel.open();  
        // 設置通道為非阻塞  
        serverChannel.configureBlocking(false);  
        // 將該通道對應的ServerSocket綁定到port端口  
        serverChannel.socket().bind(new InetSocketAddress(port));  
        // 獲得一個通道管理器  
        this.selector = Selector.open();  
        //將通道管理器和該通道綁定，并為該通道注冊SelectionKey.OP_ACCEPT事件,注冊該事件后，  
        //當該事件到達時，selector.select()會返回，如果該事件沒到達selector.select()會一直阻塞。  
        serverChannel.register(selector, SelectionKey.OP_ACCEPT);  
    }  
 
    /**  
     * 采用輪詢的方式監聽selector上是否有需要處理的事件，如果有，則進行處理  
     * @throws IOException  
     */ 
    @SuppressWarnings("unchecked")  
    public void listen() throws IOException {  
        System.out.println("服務端啟動成功！");  
        // 輪詢訪問selector  
        while (true) {  
            //當注冊的事件到達時，方法返回；否則,該方法會一直阻塞  
            selector.select();  
            // 獲得selector中選中的項的迭代器，選中的項為注冊的事件  
            Iterator ite = this.selector.selectedKeys().iterator();  
            while (ite.hasNext()) {  
                SelectionKey key = (SelectionKey) ite.next();  
                // 刪除已選的key,以防重復處理  
                ite.remove();  
                // 客戶端請求連接事件  
                if (key.isAcceptable()) {  
                    ServerSocketChannel server = (ServerSocketChannel) key  
                            .channel();  
                    // 獲得和客戶端連接的通道  
                    SocketChannel channel = server.accept();  
                    // 設置成非阻塞  
                    channel.configureBlocking(false);  
 
                    //在這里可以給客戶端發送信息哦  
                    channel.write(ByteBuffer.wrap(new String("向客戶端發送了一條信息").getBytes()));  
                    //在和客戶端連接成功之后，為了可以接收到客戶端的信息，需要給通道設置讀的權限。  
                    channel.register(this.selector, SelectionKey.OP_READ);  
                      
                    // 獲得了可讀的事件  
                } else if (key.isReadable()) {  
                        read(key);  
                }  
 
            }  
 
        }  
    }  
    /**  
     * 處理讀取客戶端發來的信息 的事件  
     * @param key  
     * @throws IOException   
     */ 
    public void read(SelectionKey key) throws IOException{  
        // 服務器可讀取消息:得到事件發生的Socket通道  
        SocketChannel channel = (SocketChannel) key.channel();  
        // 創建讀取的緩沖區  
        ByteBuffer buffer = ByteBuffer.allocate(10);  
        channel.read(buffer);  
        byte[] data = buffer.array();  
        String msg = new String(data).trim();  
        System.out.println("服務端收到信息："+msg);  
        ByteBuffer outBuffer = ByteBuffer.wrap(msg.getBytes());  
        channel.write(outBuffer);// 將消息回送給客戶端  
    }  
      
    /**  
     * 啟動服務端測試  
     * @throws IOException   
     */ 
    public static void main(String[] args) throws IOException {  
        NIOServer server = new NIOServer();  
        server.initServer(8000);  
        server.listen();  
    }  
 
}

客戶端：

package cn.nio;  
 
import java.io.IOException;  
import java.net.InetSocketAddress;  
import java.nio.ByteBuffer;  
import java.nio.channels.SelectionKey;  
import java.nio.channels.Selector;  
import java.nio.channels.SocketChannel;  
import java.util.Iterator;  
 
/**  
 * NIO客戶端  
 * @author 小路  
 */ 
public class NIOClient {  
    //通道管理器  
    private Selector selector;  
 
    /**  
     * 獲得一個Socket通道，并對該通道做一些初始化的工作  
     * @param ip 連接的服務器的ip  
     * @param port  連接的服務器的端口號           
     * @throws IOException  
     */ 
    public void initClient(String ip,int port) throws IOException {  
        // 獲得一個Socket通道  
        SocketChannel channel = SocketChannel.open();  
        // 設置通道為非阻塞  
        channel.configureBlocking(false);  
        // 獲得一個通道管理器  
        this.selector = Selector.open();  
          
        // 客戶端連接服務器,其實方法執行并沒有實現連接，需要在listen（）方法中調  
        //用channel.finishConnect();才能完成連接  
        channel.connect(new InetSocketAddress(ip,port));  
        //將通道管理器和該通道綁定，并為該通道注冊SelectionKey.OP_CONNECT事件。  
        channel.register(selector, SelectionKey.OP_CONNECT);  
    }  
 
    /**  
     * 采用輪詢的方式監聽selector上是否有需要處理的事件，如果有，則進行處理  
     * @throws IOException  
     */ 
    @SuppressWarnings("unchecked")  
    public void listen() throws IOException {  
        // 輪詢訪問selector  
        while (true) {  
            // 選擇一組可以進行I/O操作的事件，放在selector中,客戶端的該方法不會阻塞，  
            //這里和服務端的方法不一樣，查看api注釋可以知道，當至少一個通道被選中時，  
            //selector的wakeup方法被調用，方法返回，而對于客戶端來說，通道一直是被選中的  
            selector.select();  
            // 獲得selector中選中的項的迭代器  
            Iterator ite = this.selector.selectedKeys().iterator();  
            while (ite.hasNext()) {  
                SelectionKey key = (SelectionKey) ite.next();  
                // 刪除已選的key,以防重復處理  
                ite.remove();  
                // 連接事件發生  
                if (key.isConnectable()) {  
                    SocketChannel channel = (SocketChannel) key  
                            .channel();  
                    // 如果正在連接，則完成連接  
                    if(channel.isConnectionPending()){  
                        channel.finishConnect();  
                          
                    }  
                    // 設置成非阻塞  
                    channel.configureBlocking(false);  
 
                    //在這里可以給服務端發送信息哦  
                    channel.write(ByteBuffer.wrap(new String("向服務端發送了一條信息").getBytes()));  
                    //在和服務端連接成功之后，為了可以接收到服務端的信息，需要給通道設置讀的權限。  
                    channel.register(this.selector, SelectionKey.OP_READ);  
                      
                    // 獲得了可讀的事件  
                } else if (key.isReadable()) {  
                        read(key);  
                }  
 
            }  
 
        }  
    }  
    /**  
     * 處理讀取服務端發來的信息 的事件  
     * @param key  
     * @throws IOException   
     */ 
    public void read(SelectionKey key) throws IOException{  
        //和服務端的read方法一樣  
    }  
      
      
    /**  
     * 啟動客戶端測試  
     * @throws IOException   
     */ 
    public static void main(String[] args) throws IOException {  
        NIOClient client = new NIOClient();  
        client.initClient("localhost",8000);  
        client.listen();  
    }  
 
}

小結：

終于把動態代理和java NIO分析完了，呵呵，下面就要分析hadoop的RPC機制源碼了。不過如果對java NIO的理解存在異議的，歡迎一起討論。

原文鏈接：http://weixiaolu.iteye.com/blog/1479656

【編輯推薦】

Java RMI遠程調用
淺談Java的方法覆蓋與變量覆蓋
Java類變量和成員變量初始化過程
JavaScript表格組件加載速度測試
5個讓人激動的Java項目

責任編輯：林師授來源：逸情公子的博客

Java NIO