欢迎光临散文网 会员登陆 & 注册

一文读懂零拷贝技术|splice原理与实现

2022-10-15 16:37 作者:补给站Linux内核  | 我要投稿

splice 原理重温

《splice使用》一文中介绍了 的原理和使用,现在我们来分析一下 的代码实现。splice``splice

我们先来回顾一下  的原理:splice



如上图所示,使用 拷贝数据时,需要通过管道作为中转。首先将 绑定到 的写端,然后通过 的读端读取到 的数据,并且拷贝到 缓冲区中。splice``splice``页缓存``管道``管道``页缓存``socket

管道的实现可以参考:《图解 |Linux进程通信 - 管道实现

我们在《图解 |Linux进程通信 - 管道实现》一文中介绍过,管道有个 ,这个 需要绑定真实的物理内存页。而 splice 就是将管道的 绑定到文件的 ,如下图所示:环形缓冲区``环形缓冲区``环形缓冲区``页缓存



通过将文件页缓存绑定到管道的环形缓冲区后,就可以通过管道的读端读取文件页缓存的数据。


【文章福利】小编推荐自己的Linux内核技术交流群:【891587639】整理了一些个人觉得比较好的学习书籍、视频资料共享在群文件里面,有需要的可以自行添加哦!!!(含视频教程、电子书、实战项目及代码)  

splice 代码实现

《splice使用》一文中介绍过 的使用过程,要将文件内容发送到客户端连接的步骤如下:splice

  1. 首先,使用  系统调用将文件的内容与管道绑定。splice()

  2. 然后,使用 系统调用将管道的数据拷贝到客户端连接 socket。splice()

我们先来看看  系统调用的实现,代码如下:splice()

splice()系统调用主要调用 函数进行下一步处理,我们来分析一下 函数的实现。函数主要分两种情况进行处理,代码如下:do_splice()``do_splice()``do_splice()


如上面代码所示, 函数分两种情况处理,如下:do_splice()

  1. 如果输入端是一个管道,则调用  函数进行处理。do_splice_from()

  2. 如果输出端是一个管道,则调用  函数进行处理。do_splice_to()

下面我们分别来说明这两种情况的处理过程。

1. 输入端是一个管道

如果输入端是一个管道(也就是说从管道拷贝数据到输出端句柄),那么将会调用  函数进行处理, 函数的实现如下:do_splice_from()``do_splice_from()

如果输出端是一个普通文件,那么 将会指向 函数。如果输出端是一个 socket,那么 将会指向 函数。out->f_op->splice_write()``generic_file_splice_write()``out->f_op->splice_write()``generic_splice_sendpage()

下面将以  函数作为分析对象, 函数会调用  进行下一步处理,如下所示:generic_file_splice_write()``generic_file_splice_write()``__splice_from_pipe()

我们接着来分析  函数的实现:__splice_from_pipe()

对  函数进行简化后,逻辑就很简单。主要过程如下:__splice_from_pipe()

  1. 获取管道环形缓冲区(管道的实现可以参考《图解 |Linux进程通信 - 管道实现》一文)。

  2. 调用  函数把管道环形缓冲区的数据拷贝到输出端的文件中。pipe_to_file()

所以,输入端是一个管道的调用链如下:

2. 输出端是一个管道

如果输出端是一个管道(也就是说将输入端与管道绑定),那么将会调用  函数进行处理, 函数的实现如下:do_splice_to()``do_splice_to()

如果输入端是一个普通文件,那么 将会指向 函数。如果输出端是一个 socket,那么 将会指向 函数。in->f_op->splice_read()``generic_file_splice_read()``in->f_op->splice_read()``sock_splice_read()

下面将以  函数作为分析对象, 函数会调用  进行下一步处理,如下所示:generic_file_splice_read()``generic_file_splice_read()``__generic_file_splice_read()

__generic_file_splice_read()函数的代码比较长,为了更易于分析,所以对其进行了精简。从精简后的代码可以看出, 函数主要完成 4 个步骤:__generic_file_splice_read()

  1. 查找要绑定的页缓存是否已经存在(已经从硬盘同步到页缓存)。

  2. 如果还有没有同步到内核的页缓存,那么申请新的页缓存。

  3. 如果页缓存与硬盘的数据不一致,那么先从硬盘同步到页缓存。

  4. 调用  函数将页缓存与管道绑定。splice_to_pipe()

所以最终会调用  函数将页缓存与管道绑定,我们来看看  函数的实现:

splice_to_pipe()函数代码虽然比较长,但是逻辑很简单,就是将管道的环形缓冲区与文件的页缓存进行绑定,这样就能过通过管道的读端来读取页缓存的数据。

所以,输出端是一个管道的调用链如下:

总结

本文主要介绍了  的原理与实现, 是  的一种实现。希望通过本文,能够让读者对  有更深入的理解。splice``splice``零拷贝技术``零拷贝技术

当然本文也忽略了很多实现的细节,所以在阅读的过程中遇到某些细节不理解的时候,可以直接阅读源代码来解疑。





一文读懂零拷贝技术|splice原理与实现的评论 (共 条)

分享到微博请遵守国家法律