操作系统 / 系统课时
用 sendfile 减少数据复制
用 sendfile 减少数据复制
发送静态文件时,传统的 read 加 write 会让数据经过用户态缓冲区,并为每个分块触发多次系统调用。本文用一个可运行的 Linux 示例验证 sendfile 的文件到 Socket 传输路径,并说明它何时能降低复制与调用开销、何时不适用。
学习目标
- 解释
read+write与sendfile在用户态和内核态之间的数据路径差异。 - 使用
sendfile将普通文件内容发送到流式 Socket,并正确处理短发送。 - 判断 TLS、内容变换、非阻塞 I/O 等场景下的优化边界。
sendfile 改变了哪条数据路径
传统做法通常先 read 文件,把数据从内核页缓存复制到用户缓冲区,再调用 write 或 send,把用户缓冲区中的数据交回内核 Socket 路径。按分块发送时,每一块至少要经历一次读系统调用和一次写系统调用。
sendfile(out_fd, in_fd, offset, count) 让内核直接在文件描述符之间推进数据,应用进程不需要为正文内容准备用户态缓冲区。对“普通文件 → TCP Socket”这类场景,它通常能减少用户态数据复制,也能把两类系统调用合并为更少的 sendfile 调用。

这里的“零拷贝”更准确地说是避免把正文复制到用户态再复制回内核。底层是否还存在页缓存填充、Socket 缓冲管理、DMA 或硬件相关的数据搬运,取决于内核、文件系统与网卡能力,因此不要把 sendfile 理解成“任何地方都没有复制”。
写出一个可验证的 sendfile 程序
下面的命令会创建一个完整 C 程序:先写入临时普通文件,再用 socketpair 构造一对流式 Socket,循环调用 sendfile 直到全部发送完成,最后从另一端读回并校验内容。循环很重要,因为 sendfile 和 send 一样可能只完成部分数据。
cat > /tmp/sendfile_demo.c <<'EOF'
#define _GNU_SOURCE
#include <sys/sendfile.h>
#include <sys/socket.h>
#include <sys/stat.h>
#include <errno.h>
#include <fcntl.h>
#include <stdio.h>
#include <stdlib.h>
#include <string.h>
#include <unistd.h>
int main(void) {
const char *payload = "hello from sendfile\n";
char path[] = "/tmp/sendfile-demo-XXXXXX";
int file_fd = mkstemp(path);
if (file_fd == -1) {
perror("mkstemp");
return 1;
}
unlink(path);
/* Keep the demo self-contained by using a temporary regular file. */
size_t payload_len = strlen(payload);
if (write(file_fd, payload, payload_len) != (ssize_t)payload_len ||
lseek(file_fd, 0, SEEK_SET) == -1) {
perror("prepare file");
return 1;
}
int sv[2];
if (socketpair(AF_UNIX, SOCK_STREAM, 0, sv) == -1) {
perror("socketpair");
return 1;
}
struct stat st;
if (fstat(file_fd, &st) == -1) {
perror("fstat");
return 1;
}
off_t offset = 0;
ssize_t sent = 0;
/* sendfile can complete only part of the requested count. */
while (sent < st.st_size) {
ssize_t n = sendfile(sv[0], file_fd, &offset,
(size_t)(st.st_size - sent));
if (n == -1) {
if (errno == EINTR) {
continue;
}
perror("sendfile");
return 1;
}
if (n == 0) {
break;
}
sent += n;
}
char buf[128];
ssize_t received = 0;
/* A stream recv can also be partial, so accumulate before checking. */
while (received < sent) {
ssize_t n = recv(sv[1], buf + received,
sizeof(buf) - 1 - (size_t)received, 0);
if (n == -1) {
if (errno == EINTR) {
continue;
}
perror("recv");
return 1;
}
if (n == 0) {
break;
}
received += n;
}
buf[received] = '\0';
printf("sent=%zd\n", sent);
printf("received=%zd\n", received);
printf("%s", buf);
close(sv[0]);
close(sv[1]);
close(file_fd);
return sent == received ? 0 : 2;
}
EOF
cc -Wall -Wextra -O2 /tmp/sendfile_demo.c -o /tmp/sendfile_demo
/tmp/sendfile_demo预期输出:
sent=20
received=20
hello from sendfile这个例子使用 Unix 域流式 Socket 只为了让验证自包含;在网络服务中,out_fd 通常是已经建立连接的 TCP Socket。传输较大文件时仍要保留循环,并处理 EINTR、EAGAIN 以及短发送,而不能假设一次调用就完成 count 字节。
为什么系统调用也会变少
假设应用按固定块大小发送一个文件。传统路径每块通常需要一次 read 和一次 send/write;sendfile 则让同一批数据由一次 sendfile 调用推进。文件越大、分块越多,减少的系统调用次数越明显,用户态也不需要反复填充中转缓冲区。
这不意味着 sendfile 一定让所有服务更快。真正的收益要结合文件是否已在页缓存、网络吞吐、CPU 使用率、TLS 处理方式以及并发模型观察;如果瓶颈本来就在磁盘或链路带宽,系统调用减少可能不是主要矛盾。
识别不能直接套用的边界
当响应内容必须在用户态逐字节压缩、加密、转码或拼接时,数据必须先经过应用逻辑,sendfile 就不能直接替代这段处理。使用用户态 TLS 库时也通常需要先把明文交给 TLS 实现;只有采用内核 TLS 等特定能力时,文件直送路径才可能继续成立。
非阻塞 Socket 下,sendfile 仍可能返回 EAGAIN,事件驱动程序应记录已经发送的偏移量,等待 Socket 再次可写后继续,而不是从文件头重发。若传输期间文件会被修改,还要先定义内容一致性策略,否则“发送了哪个版本”会变得不可控。
因此,sendfile 最适合无需用户态改写的大块文件到流式 Socket 传输。它优化的是数据路径和调用次数,而不是替应用绕过所有 I/O 成本。