轉: http://www.iteye.com/topic/834447 (ps:真是好文章)
同樣問題,還有另外一些人寫的文章。
http://weixiaolu.iteye.com/blog/1479656
http://blog.csdn.net/flyingpig4/article/details/5747551
1. 基本 概念
IO 是主存和外部設備 ( 硬盤、終端和網絡等 ) 拷貝數據的過程。 IO 是操作系統的底層功能實現,底層通過 I/O 指令進行完成。
所有語言運行時系統提供執行 I/O 較高級別的工具。 (c 的 printf scanf,java 的面向對象封裝 )
2. Java 標準 io 回顧
Java 標準 IO 類庫是 io 面向對象的一種抽象。基于本地方法的底層實現,我們無須關注底層實現。 InputStream\OutputStream( 字節流 ) :一次傳送一個字節。 Reader\Writer( 字符流 ) :一次一個字符。
3. nio 簡介
nio 是 java New IO 的簡稱,在 jdk1.4 里提供的新 api 。 Sun 官方標榜的特性如下:
– 為所有的原始類型提供 (Buffer) 緩存支持。
– 字符集編碼解碼解決方案。
– Channel :一個新的原始 I/O 抽象。
– 支持鎖和內存映射文件的文件訪問接口。
– 提供多路 (non-bloking) 非阻塞式的高伸縮性網絡 I/O 。
本文將圍繞這幾個特性進行學習和介紹。
4. Buffer&Chanel
Channel 和 buffer 是 NIO 是兩個最基本的數據類型抽象。
Buffer:
– 是一塊連續的內存塊。
– 是 NIO 數據讀或寫的中轉地。
Channel:
– 數據的源頭或者數據的目的地
– 用于向 buffer 提供數據或者讀取 buffer 數據 ,buffer 對象的唯一接口。
– 異步 I/O 支持
例子 1:CopyFile.java
package sample; import java.io.FileInputStream; import java.io.FileOutputStream; import java.nio.ByteBuffer; import java.nio.channels.FileChannel; public class CopyFile { public static void main(String[] args) throws Exception { String infile = "C:\\copy.sql"; String outfile = "C:\\copy.txt"; // 獲取源文件和目標文件的輸入輸出流 FileInputStream fin = new FileInputStream(infile); FileOutputStream fout = new FileOutputStream(outfile); // 獲取輸入輸出通道 FileChannel fcin = fin.getChannel(); FileChannel fcout = fout.getChannel(); // 創建緩沖區 ByteBuffer buffer = ByteBuffer.allocate(1024); while (true) { // clear方法重設緩沖區,使它可以接受讀入的數據 buffer.clear(); // 從輸入通道中將數據讀到緩沖區 int r = fcin.read(buffer); // read方法返回讀取的字節數,可能為零,如果該通道已到達流的末尾,則返回-1 if (r == -1) { break; } // flip方法讓緩沖區可以將新讀入的數據寫入另一個通道 buffer.flip(); // 從輸出通道中將數據寫入緩沖區 fcout.write(buffer); } } }
其中 buffer 內部結構如下 ( 下圖拷貝自資料 ):
圖2:buffer內部結構
一個 buffer 主要由 position,limit,capacity 三個變量來控制讀寫的過程。此三個變量的含義見如下表格:
參數 |
寫模式 |
讀模式 |
position |
當前寫入的單位數據數量。 |
當前讀取的單位數據位置。 |
limit |
代表最多能寫多少單位數據和容量是一樣的。 |
代表最多能讀多少單位數據,和之前寫入的單位數據量一致。 |
capacity |
buffer 容量 |
buffer 容量 |
Buffer 常見方法:
flip(): 寫模式轉換成讀模式
rewind() :將 position 重置為 0 ,一般用于重復讀。
clear() :清空 buffer ,準備再次被寫入 (position 變成 0 , limit 變成 capacity) 。
compact(): 將未讀取的數據拷貝到 buffer 的頭部位。
mark() 、 reset():mark 可以標記一個位置, reset 可以重置到該位置。
Buffer 常見類型: ByteBuffer 、 MappedByteBuffer 、 CharBuffer 、 DoubleBuffer 、 FloatBuffer 、 IntBuffer 、 LongBuffer 、 ShortBuffer 。
channel 常見類型 :FileChannel 、 DatagramChannel(UDP) 、 SocketChannel(TCP) 、 ServerSocketChannel(TCP)
在本機上面做了個簡單的性能測試。我的筆記本性能一般。 ( 具體代碼可以見附件。見 nio.sample.filecopy 包下面的例子 ) 以下是參考數據:
– 場景 1 : Copy 一個 370M 的文件
– 場景 2: 三個線程同時拷貝,每個線程拷貝一個 370M 文件
場景 |
FileInputStream+ FileOutputStream |
FileInputStream+ BufferedInputStream+ FileOutputStream |
ByteBuffer+ FileChannel |
MappedByteBuffer +FileChannel |
場景一時間 ( 毫秒 ) |
25155 |
17500 |
19000 |
16500 |
場景二時間 ( 毫秒 ) |
69000 |
67031 |
74031 |
71016 |
5. nio.charset
字符編碼解碼 : 字節碼本身只是一些數字,放到正確的上下文中被正確被解析。向 ByteBuffer 中存放數據時需要考慮字符集的編碼方式,讀取展示 ByteBuffer 數據時涉及對字符集解碼。
Java.nio.charset 提供了編碼解碼一套解決方案。
以我們最常見的 http 請求為例,在請求的時候必須對請求進行正確的編碼。在得到響應時必須對響應進行正確的解碼。
以下代碼向 baidu 發一次請求,并獲取結果進行顯示。例子演示到了 charset 的使用。
例子 2BaiduReader.java
package nio.readpage; import java.nio.ByteBuffer; import java.nio.channels.SocketChannel; import java.nio.charset.Charset; import java.net.InetSocketAddress; import java.io.IOException; public class BaiduReader { private Charset charset = Charset.forName("GBK");// 創建GBK字符集 private SocketChannel channel; public void readHTMLContent() { try { InetSocketAddress socketAddress = new InetSocketAddress( "www.baidu.com", 80); //step1:打開連接 channel = SocketChannel.open(socketAddress); //step2:發送請求,使用GBK編碼 channel.write(charset.encode("GET " + "/ HTTP/1.1" + "\r\n\r\n")); //step3:讀取數據 ByteBuffer buffer = ByteBuffer.allocate(1024);// 創建1024字節的緩沖 while (channel.read(buffer) != -1) { buffer.flip();// flip方法在讀緩沖區字節操作之前調用。 System.out.println(charset.decode(buffer)); // 使用Charset.decode方法將字節轉換為字符串 buffer.clear();// 清空緩沖 } } catch (IOException e) { System.err.println(e.toString()); } finally { if (channel != null) { try { channel.close(); } catch (IOException e) { } } } } public static void main(String[] args) { new BaiduReader().readHTMLContent(); } }
6. 非阻塞 IO
關于非阻塞 IO 將從何為阻塞、何為非阻塞、非阻塞原理和異步核心 API 幾個方面來理解。
何為阻塞?
一個常見的網絡 IO 通訊流程如下 :
圖3:網絡通訊基本過程
從該網絡通訊過程來理解一下何為阻塞 :
在以上過程中若連接還沒到來,那么 accept 會阻塞 , 程序運行到這里不得不掛起, CPU 轉而執行其他線程。
在以上過程中若數據還沒準備好, read 會一樣也會阻塞。
阻塞式網絡 IO 的特點:多線程處理多個連接。每個線程擁有自己的棧空間并且占用一些 CPU 時間。每個線程遇到外部為準備好的時候,都會阻塞掉。阻塞的結果就是會帶來大量的進程上下文切換。且大部分進程上下文切換可能是無意義的。比如假設一個線程監聽一個端口,一天只會有幾次請求進來,但是該 cpu 不得不為該線程不斷做上下文切換嘗試,大部分的切換以阻塞告終。
何為非阻塞?
下面有個隱喻:
一輛從 A 開往 B 的公共汽車上,路上有很多點可能會有人下車。司機不知道哪些點會有哪些人會下車,對于需要下車的人,如何處理更好?
1. 司機過程中定時詢問每個乘客是否到達目的地,若有人說到了,那么司機停車,乘客下車。 ( 類似阻塞式 )
2. 每個人告訴售票員自己的目的地,然后睡覺,司機只和售票員交互,到了某個點由售票員通知乘客下車。 ( 類似非阻塞 )
很顯然,每個人要到達某個目的地可以認為是一個線程,司機可以認為是 CPU 。在阻塞式里面,每個線程需要不斷的輪詢,上下文切換,以達到找到目的地的結果。而在非阻塞方式里,每個乘客 ( 線程 ) 都在睡覺 ( 休眠 ) ,只在真正外部環境準備好了才喚醒,這樣的喚醒肯定不會阻塞。
非阻塞的原理
把整個過程切換成小的任務,通過任務間協作完成。
由一個專門的線程來處理所有的 IO 事件,并負責分發。
事件驅動機制:事件到的時候觸發,而不是同步的去監視事件。
線程通訊:線程之間通過 wait,notify 等方式通訊。保證每次上下文切換都是有意義的。減少無謂的進程切換。
以下是異步 IO 的結構:
圖4:非阻塞基本原理
Reactor 就是上面隱喻的售票員角色。每個線程的處理流程大概都是讀取數據、解碼、計算處理、編碼、發送響應。
異步 IO 核心 API
Selector
異步 IO 的核心類,它能檢測一個或多個通道 (channel) 上的事件,并將事件分發出去。
使用一個 select 線程就能監聽多個通道上的事件,并基于事件驅動觸發相應的響應。而不需要為每個 channel 去分配一個線程。
SelectionKey
包含了事件的狀態信息和時間對應的通道的綁定。
例子 1 單線程實現監聽兩個端口。 ( 見 nio.asyn 包下面的例子。 )
例子 2 NIO 線程協作實現資源合理利用。 (wait,notify) 。 ( 見 nio.asyn.multithread 下的例子 )
更多文章、技術交流、商務合作、聯系博主
微信掃碼或搜索:z360901061

微信掃一掃加我為好友
QQ號聯系: 360901061
您的支持是博主寫作最大的動力,如果您喜歡我的文章,感覺我的文章對您有幫助,請用微信掃描下面二維碼支持博主2元、5元、10元、20元等您想捐的金額吧,狠狠點擊下面給點支持吧,站長非常感激您!手機微信長按不能支付解決辦法:請將微信支付二維碼保存到相冊,切換到微信,然后點擊微信右上角掃一掃功能,選擇支付二維碼完成支付。
【本文對您有幫助就好】元
