提到IO,这是Java提供的一套类库,用于支持应用程序与内存、文件、网络间进行数据交互,实现数据写入与输出。JDK自从1.4版本后,提供了另一套类库NIO,我们平时习惯称呼为NEW IO或NON-blocking IO。
那么这套新的IO库与之前的有何区别?为什么需要提供这样一套IO库呢?
Java NIO相比与传统的IO,除了提供标准IO的加强功能之外,最为核心的是对基于Socket的网络编程提供了一套非阻塞编程模式。
IO | NIO |
---|---|
面向流 | 面向缓冲 |
阻塞 | 非阻塞 |
无 | 选择器 |
在NIO中,三个核心的对象Buffer、Channel、Selector
Buffer
我们经常说的面向缓冲区编程主要对该对象的操作,Buffer简单的看就是一个内存块,其内部封装了一个数组,同时该对象提供了大量API可以灵活对其操作,比如缓冲数据读取与写入、缓冲复制等。
其内部结构如下:
其内部除了存储数据的数组外,还维护了capacity、limit、position几个属性,用于标记数组容量、存储占用空间、下标索引。Buffer存在读写两种状态,根据上图可以看到其具体含义。
capacity
表示Buffer最大可缓冲中数据的容量。capacity一旦确定,则不可修改;写入数据一旦达到容量,则不可继续写入;
limit
在写模式时,limit=capacity,表示buf可写入数据上限。在读模式时,limit表示buf可读数据上限。
position
表示Buffer数组下标位置。初始化时,position=0;
flip
用于将Buffer由写状态切换为读状态,limit = position; position = 0;
用于将Buffer由读状态切换为写状态,compact:position=limit,limit=capacity; clear:position=0,limit=capacity。
操作Buffer时,用于临时存储position(mark=position),当有需要时,可以通过rest方法将临时值取出并赋值到position(position=mark) 重新从标记位置继续操作Buffer。
Channel
直译为通道,表示源端与目标端的连接通道,主要负责将数据读写到Buffer。
常用的Channel包括FileChannel、DatagramChannel、ServerSocketChannel和SocketChannel。
Selector
选择器是NIO技术中的核心组件,可以将通道注册进选择器中,其主要作用就是使用一个线程来对多个通道中的已就绪通道进行选择, 然后可以对选择的通道进行数据处理,属于一对多的关系。这种机制在NIO技术中心称为“IO多路复用”。其优势是可以在一个线程中 对多个连接实现监听,从而节省系统资源与CPU开销。
其中包括三个核心类:
我们可以将Channel注册到Selector上并定义感兴趣的事件,当Channel就绪时,可以监听这些事件:
传统IO复制文件时需要依赖于InputStream、OutputStream来完成,基于NIO可以通过FileChannel:
// 文件复制
sourceChannel.transferTo(0, sourceChannel.size(), targetChannel);
// 其中获取FileChannel的方法有以下三种:
FileChannel channel = new FileInputStream(file).getChannel();
FileChannel channel = new RandomAccessFile(file, "rw").getChannel();
FileChannel channel = FileChannel.open(file.toPath());
Server:
@Slf4j
public class Server {
private Selector selector;
private DatagramChannel datagramChannel;
public Server(int port) {
try {
this.selector = Selector.open();
this.datagramChannel = DatagramChannel.open();
this.datagramChannel.configureBlocking(false);
this.datagramChannel.bind(new InetSocketAddress(port));
this.datagramChannel.register(this.selector, SelectionKey.OP_READ);
log.info("++++++ DUP Server启动成功 ++++++");
} catch (IOException e) {
log.error("Server创建失败:{}", e.getMessage());
}
}
public void start() throws IOException {
while (true){
int select = selector.select();
if(select >0 ){
Iterator< SelectionKey > iterator = selector.selectedKeys().iterator();
while (iterator.hasNext()){
SelectionKey key = iterator.next();
iterator.remove();
if(key.isReadable()){
DatagramChannel channel = (DatagramChannel) key.channel();
ByteBuffer byteBuffer = ByteBuffer.allocate(1024);
channel.receive(byteBuffer);
byteBuffer.flip();
CharBuffer charBuffer = Charset.defaultCharset ().decode ( byteBuffer ) ;
log.info("Server接收消息:{}", charBuffer);
}
}
}
}
}
}
Client:
@Slf4j
public class Client {
private DatagramChannel datagramChannel;
public Client(int port) {
try {
this.datagramChannel = DatagramChannel.open();
this.datagramChannel.configureBlocking(true);
this.datagramChannel.connect(new InetSocketAddress("127.0.0.1", port));
} catch (IOException e) {
log.error("Client创建失败:{}", e.getMessage());
}
}
public void invoke(String message) throws IOException {
log.info("Client发送消息:{}", message);
datagramChannel.write(Charset.defaultCharset().encode(message));
}
}
Tests:
public class UDPTest {
int port = 8095;
@Test
public void server() throws IOException {
Server server = new Server(port);
server.start();
}
@Test
public void client() throws IOException {
Client client = new Client(port);
client.invoke(message);
while (true){}
}
}
Server:
@Slf4j
public class Server {
private ServerSocketChannel serverSocketChannel;
private Selector selector;
public Server(int port){
try {
this.selector = Selector.open();
this.serverSocketChannel = ServerSocketChannel.open();
serverSocketChannel.configureBlocking(false);
serverSocketChannel.register(selector, SelectionKey.OP_ACCEPT);
serverSocketChannel.bind(new InetSocketAddress(port));
log.info("++++++ NIO Server启动成功 ++++++");
} catch (IOException e) {
log.error("创建ServerSocketChannel出错:{}", e.getMessage());
}
}
public void start() throws IOException {
while (true){
selector.select(); // 阻塞
Iterator< SelectionKey > keyIterator = selector.selectedKeys().iterator();
while (keyIterator.hasNext()){
SelectionKey selectionKey = keyIterator.next();
keyIterator.remove(); //
if(!selectionKey.isValid()){
continue;
}
if(selectionKey.isAcceptable()){
ServerSocketChannel ssc = (ServerSocketChannel) selectionKey.channel();
SocketChannel socketChannel = ssc.accept(); // 可以是阻塞或非阻塞,获取的Channel一定是阻塞的
socketChannel.configureBlocking(false); // 这个有用?
socketChannel.register(selector, SelectionKey.OP_READ);
}else if(selectionKey.isReadable()){
SocketChannel channel = (SocketChannel) selectionKey.channel();
ByteBuffer buffer = ByteBuffer.allocate(256);
int writeBytes = channel.read(buffer); //
if(writeBytes > 0){
buffer.flip();
byte[] bytes = new byte[buffer.remaining()];
buffer.get(bytes);
log.info(" > > > Server接收消息:{}", new String(bytes));
}
// 回复
channel.write(Charset.defaultCharset().encode("我是Server的回复内容"));
}
}
}
}
}
Client:
@Slf4j
public class Client {
private SocketChannel socketChannel;
public Client(int port){
try {
this.socketChannel = SocketChannel.open();
socketChannel.connect(new InetSocketAddress("127.0.0.1",port));
} catch (IOException e) {
log.error("创建SocketChannel出错:{}", e.getMessage());
}
}
public void invoke(String message) throws IOException {
log.info(" > > > Client发送消息:{}", message);
this.socketChannel.write(Charset.defaultCharset().encode(message));
}
}
NIO整体处理流程如下:
首先我们要知道,程序在读取系统文件时,是没办法直接读取磁盘内容,基于操作系统安全考虑,需要通过调用操作系统提供的系统API从内核缓冲区将文件数据拷到用户缓冲区后 才能读取到文件信息。
在操作系统层面,如果为了完成网络文件的传输,一般需要这样做:
while( in.read(...)!=-1 ){
out.write(...)
}
拿到源文件的输入流;拿到目标文件的输出流;从输入流读取数据;将数据写入到输出流;
整个过程经历了4次文件拷贝:
经历了4次CPU切换:
在高并发网络通信环境中,通过传统的方式由于多次的CPU切换与数据拷贝会消耗系统资源,因此为了提高网络间文件传输的性能,就需要减少‘用户态与内核态的上下文切换’和‘内存拷贝’的次数。
零拷贝的“零”是指用户态和内核态间copy数据的次数为零
零拷贝依附于操作系统底层,基于虚拟内存实现,将文件地址与虚拟地址件建立映射关系,
零拷贝技术可以减少数据拷贝和共享总线操作的次数,消除传输数据在存储器之间不必要的中间拷贝次数,从而有效地提高数据传输效率;零拷贝技术减少了用户进程地址空间和内核地址空间之间因为上下文切换而带来的开销
RandomAccessFile randomAccessFile = new RandomAccessFile(file, "rw");
FileChannel fileChannel = randomAccessFile.getChannel();
MappedByteBuffer mappedByteBuffer = fileChannel.map(FileChannel.MapMode.READ_WRITE, 0, fileChannel.size());
NIO的出现得益于操作系统的变革,由于网路编程对性能与资源使用上的要求更高,传统的IO模型只能通过线程来提升系统吞吐率;为了满足现代网络通信的需求,在高级编程语言中的优化 行为逐步迁移到操作系统底层,这样通过底层逻辑优化,不仅提供系统性能,最主要减少了系统资源的浪费。
全部0条评论
快来发表一下你的评论吧 !