kafka & rocketmq 零拷贝
-
零拷贝
传统意义上拷贝
mmap()内存映射， rocketmq的读数据以及kafka的写索引数据均采用此方式
sendfile()
sendfile() + DMA gather copy。kafka 读数据采用此方式
splice() + DMA copy
使用 mmap + write 方式
RocketMQ 选择了这种方式，mmap+write 方式，因为有小块数据传输的需求，效果会比 sendfile 更好。但是RocketMQ控制mmap映射的内存分配与释放的地方非常复杂，稍有不慎就会出问题。
优点：即使频繁调用，使用小块文件传输，效率也很高。
缺点：不能很好的利用 DMA 方式，会比 sendfile 多消耗 CPU，内存安全性控制复杂，需要避免 JVM Crash问题。
2. 使用 sendfile 方式
优点：可以利用 DMA 方式，消耗 CPU 较少，大块文件传输效率高，无内存安全性问题。
缺点：小块文件效率低于 mmap 方式，只能是 BIO 方式传输，不能使用 NIO。
sendfile：FileChannel.transferTo()只有源为FileChannel才支持transfer这种高效的复制方式，其他如SocketChannel都不支持transfer模式。当然，目的Channel没有这种限制。所以一般可以做FileChannel->FileChannel和FileChannel->SocketChannel的transfer。
KAFKA的索引文件使用mmap+write 方式，data文件使用sendfile 。
下面这个问题就是RocketMQ使用mmap后的潜在问题：
为什么 RocketMQ 不使用
sendfile？参考 Kafka 抄个作业也不难啊？我们来看下 sendfile 函数长啥样：
c ssize_t sendfile(int out_fd, int in_fd, off_t* offset, size_t count); // num = sendfile(xxx);
-
RocketMQ：使用
mmap技术进行零拷贝，返回的是数据的具体内容，应用层可以获取消息内容并进行一些逻辑处理。我们来看下mmap函数长啥样：
c void *mmap(void *addr, size_t length, int prot, int flags, int fd, off_t offset); // buf = mmap(xxx)
注释里写的是两个函数的用法，
mmap 返回的是数据的具体内容，应用层能获取到消息内容并进行一些逻辑处理。而 sendfile 返回的则是发送成功了几个字节数，具体发了什么内容，应用层根本不知道。
RocketMQ 的一些功能需要了解具体这个消息内容，方便二次投递等，比如将消费失败的消息重新投递到死信队列中。如果 RocketMQ 使用
sendfile，那根本没机会获取到消息内容长什么样子，也就没办法实现一些好用的功能了。而 Kafka 却没有这些功能特性，追求极致性能，正好可以使用 sendfile。