操作系统 / 系统课时

用 sendfile 减少数据复制

用 sendfile 减少数据复制

发送静态文件时,传统的 read 加 write 会让数据经过用户态缓冲区,并为每个分块触发多次系统调用。本文用一个可运行的 Linux 示例验证 sendfile 的文件到 Socket 传输路径,并说明它何时能降低复制与调用开销、何时不适用。

学习目标

  • 解释 read + write 与 sendfile 在用户态和内核态之间的数据路径差异。
  • 使用 sendfile 将普通文件内容发送到流式 Socket,并正确处理短发送。
  • 判断 TLS、内容变换、非阻塞 I/O 等场景下的优化边界。

sendfile 改变了哪条数据路径

传统做法通常先 read 文件,把数据从内核页缓存复制到用户缓冲区,再调用 write 或 send,把用户缓冲区中的数据交回内核 Socket 路径。按分块发送时,每一块至少要经历一次读系统调用和一次写系统调用。

sendfile(out_fd, in_fd, offset, count) 让内核直接在文件描述符之间推进数据,应用进程不需要为正文内容准备用户态缓冲区。对“普通文件 → TCP Socket”这类场景,它通常能减少用户态数据复制,也能把两类系统调用合并为更少的 sendfile 调用。

read-write 与 sendfile 数据路径对比

这里的“零拷贝”更准确地说是避免把正文复制到用户态再复制回内核。底层是否还存在页缓存填充、Socket 缓冲管理、DMA 或硬件相关的数据搬运,取决于内核、文件系统与网卡能力,因此不要把 sendfile 理解成“任何地方都没有复制”。

写出一个可验证的 sendfile 程序

下面的命令会创建一个完整 C 程序:先写入临时普通文件,再用 socketpair 构造一对流式 Socket,循环调用 sendfile 直到全部发送完成,最后从另一端读回并校验内容。循环很重要,因为 sendfile 和 send 一样可能只完成部分数据。

bash
cat > /tmp/sendfile_demo.c <<'EOF'
#define _GNU_SOURCE
#include <sys/sendfile.h>
#include <sys/socket.h>
#include <sys/stat.h>
#include <errno.h>
#include <fcntl.h>
#include <stdio.h>
#include <stdlib.h>
#include <string.h>
#include <unistd.h>

int main(void) {
    const char *payload = "hello from sendfile\n";
    char path[] = "/tmp/sendfile-demo-XXXXXX";
    int file_fd = mkstemp(path);
    if (file_fd == -1) {
        perror("mkstemp");
        return 1;
    }
    unlink(path);

    /* Keep the demo self-contained by using a temporary regular file. */
    size_t payload_len = strlen(payload);
    if (write(file_fd, payload, payload_len) != (ssize_t)payload_len ||
        lseek(file_fd, 0, SEEK_SET) == -1) {
        perror("prepare file");
        return 1;
    }

    int sv[2];
    if (socketpair(AF_UNIX, SOCK_STREAM, 0, sv) == -1) {
        perror("socketpair");
        return 1;
    }

    struct stat st;
    if (fstat(file_fd, &st) == -1) {
        perror("fstat");
        return 1;
    }

    off_t offset = 0;
    ssize_t sent = 0;
    /* sendfile can complete only part of the requested count. */
    while (sent < st.st_size) {
        ssize_t n = sendfile(sv[0], file_fd, &offset,
                             (size_t)(st.st_size - sent));
        if (n == -1) {
            if (errno == EINTR) {
                continue;
            }
            perror("sendfile");
            return 1;
        }
        if (n == 0) {
            break;
        }
        sent += n;
    }

    char buf[128];
    ssize_t received = 0;
    /* A stream recv can also be partial, so accumulate before checking. */
    while (received < sent) {
        ssize_t n = recv(sv[1], buf + received,
                         sizeof(buf) - 1 - (size_t)received, 0);
        if (n == -1) {
            if (errno == EINTR) {
                continue;
            }
            perror("recv");
            return 1;
        }
        if (n == 0) {
            break;
        }
        received += n;
    }
    buf[received] = '\0';

    printf("sent=%zd\n", sent);
    printf("received=%zd\n", received);
    printf("%s", buf);

    close(sv[0]);
    close(sv[1]);
    close(file_fd);
    return sent == received ? 0 : 2;
}
EOF
cc -Wall -Wextra -O2 /tmp/sendfile_demo.c -o /tmp/sendfile_demo
/tmp/sendfile_demo

预期输出:

text
sent=20
received=20
hello from sendfile

这个例子使用 Unix 域流式 Socket 只为了让验证自包含;在网络服务中,out_fd 通常是已经建立连接的 TCP Socket。传输较大文件时仍要保留循环,并处理 EINTR、EAGAIN 以及短发送,而不能假设一次调用就完成 count 字节。

为什么系统调用也会变少

假设应用按固定块大小发送一个文件。传统路径每块通常需要一次 read 和一次 send/write;sendfile 则让同一批数据由一次 sendfile 调用推进。文件越大、分块越多,减少的系统调用次数越明显,用户态也不需要反复填充中转缓冲区。

这不意味着 sendfile 一定让所有服务更快。真正的收益要结合文件是否已在页缓存、网络吞吐、CPU 使用率、TLS 处理方式以及并发模型观察;如果瓶颈本来就在磁盘或链路带宽,系统调用减少可能不是主要矛盾。

识别不能直接套用的边界

当响应内容必须在用户态逐字节压缩、加密、转码或拼接时,数据必须先经过应用逻辑,sendfile 就不能直接替代这段处理。使用用户态 TLS 库时也通常需要先把明文交给 TLS 实现;只有采用内核 TLS 等特定能力时,文件直送路径才可能继续成立。

非阻塞 Socket 下,sendfile 仍可能返回 EAGAIN,事件驱动程序应记录已经发送的偏移量,等待 Socket 再次可写后继续,而不是从文件头重发。若传输期间文件会被修改,还要先定义内容一致性策略,否则“发送了哪个版本”会变得不可控。

因此,sendfile 最适合无需用户态改写的大块文件到流式 Socket 传输。它优化的是数据路径和调用次数,而不是替应用绕过所有 I/O 成本。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

用 sendfile 减少数据复制

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通