计算机网络 / 系统课时
写缓冲区怎么处理部分写入
写缓冲区怎么处理部分写入
非阻塞连接里,一次 send 可能只写出部分数据,也可能直接返回 EAGAIN。本节把“剩余数据放哪里、下次从哪里继续、何时监听 EPOLLOUT”串成一套可直接落地的写缓冲区机制,避免丢包、重复发送和可写事件空转。
学习目标
- 正确解释部分写入、
EAGAIN与发送缓冲区之间的关系。 - 用输出队列和写偏移保存未发送数据,并在后续可写事件中继续发送。
- 只在确有待发送数据时注册
EPOLLOUT,队列清空后立即取消。
为什么一次 send 不等于一次消息
TCP 提供的是字节流,不承诺应用层一次 send 的数据会在一次系统调用中全部进入内核发送缓冲区。非阻塞套接字上,send(fd, buf, len, ...) 可能返回 0 < n < len,表示只接受了前 n 个字节;也可能返回 -1 且 errno 为 EAGAIN 或 EWOULDBLOCK,表示当前一个字节也放不进去。
因此应用层必须把“已经写到哪里”变成连接状态的一部分。最小状态通常包括输出队列、当前队首块和块内偏移。只有当某个块的全部字节都发送完成,才能从队列移除它;部分写入后必须保留原块,并把偏移推进到返回值 n 对应的位置。

常见返回值可以按下面的规则处理:
send 结果 |
连接动作 |
|---|---|
n > 0 |
偏移增加 n;若当前块写完则出队并继续写下一块 |
-1 且 EINTR |
立即重试当前调用 |
-1 且 EAGAIN/EWOULDBLOCK |
保留队列和偏移,停止本轮写,等待 EPOLLOUT |
| 其他错误 | 视为连接写失败,进入关闭或错误处理 |
用输出队列保存未完成的数据
下面的程序用 socketpair 构造一个本地非阻塞连接:先把发送缓冲区写满,再尝试发送 HELLO。第一次发送无法完成时保留偏移并打开 EPOLLOUT;对端读走旧数据后,epoll 通知可写,程序从原偏移继续发送,最后关闭 EPOLLOUT。示例运行在 Linux。
#define _GNU_SOURCE
#include <errno.h>
#include <fcntl.h>
#include <stdio.h>
#include <stdlib.h>
#include <string.h>
#include <sys/epoll.h>
#include <sys/socket.h>
#include <unistd.h>
static void die(const char *msg) {
perror(msg);
exit(EXIT_FAILURE);
}
static void set_nonblock(int fd) {
int flags = fcntl(fd, F_GETFL, 0);
if (flags == -1 || fcntl(fd, F_SETFL, flags | O_NONBLOCK) == -1) {
die("fcntl");
}
}
static void set_interest(int epfd, int fd, int want_write) {
struct epoll_event ev = {0};
ev.data.fd = fd;
ev.events = EPOLLIN | (want_write ? EPOLLOUT : 0);
if (epoll_ctl(epfd, EPOLL_CTL_MOD, fd, &ev) == -1) {
die("epoll_ctl MOD");
}
}
int main(void) {
int sv[2];
if (socketpair(AF_UNIX, SOCK_STREAM, 0, sv) == -1) {
die("socketpair");
}
set_nonblock(sv[0]);
set_nonblock(sv[1]);
int sndbuf = 4096;
if (setsockopt(sv[0], SOL_SOCKET, SO_SNDBUF, &sndbuf, sizeof(sndbuf)) == -1) {
die("setsockopt");
}
int epfd = epoll_create1(0);
if (epfd == -1) {
die("epoll_create1");
}
struct epoll_event ev = {0};
ev.data.fd = sv[0];
ev.events = EPOLLIN;
if (epoll_ctl(epfd, EPOLL_CTL_ADD, sv[0], &ev) == -1) {
die("epoll_ctl ADD");
}
char filler[1024];
memset(filler, 'x', sizeof(filler));
/* 先填满发送缓冲区,直到非阻塞 send 返回 EAGAIN。 */
for (;;) {
ssize_t n = send(sv[0], filler, sizeof(filler), MSG_NOSIGNAL);
if (n > 0) {
continue;
}
if (n == -1 && errno == EINTR) {
continue;
}
if (n == -1 && (errno == EAGAIN || errno == EWOULDBLOCK)) {
break;
}
die("prefill send");
}
const char msg[] = "HELLO";
size_t off = 0;
ssize_t n = send(sv[0], msg + off, 5 - off, MSG_NOSIGNAL);
if (n > 0) {
off += (size_t)n;
}
if (off < 5) {
set_interest(epfd, sv[0], 1);
puts("pending data kept, EPOLLOUT=on");
}
/* 对端读走旧数据,为后续写入腾出空间。 */
char drain[8192];
while (recv(sv[1], drain, sizeof(drain), 0) > 0) {
}
if (errno != EAGAIN && errno != EWOULDBLOCK) {
die("recv");
}
struct epoll_event ready;
int count = epoll_wait(epfd, &ready, 1, 1000);
if (count != 1 || !(ready.events & EPOLLOUT)) {
fprintf(stderr, "EPOLLOUT not received\n");
return EXIT_FAILURE;
}
while (off < 5) {
n = send(sv[0], msg + off, 5 - off, MSG_NOSIGNAL);
if (n > 0) {
off += (size_t)n;
continue;
}
if (n == -1 && errno == EINTR) {
continue;
}
if (n == -1 && (errno == EAGAIN || errno == EWOULDBLOCK)) {
continue;
}
die("flush send");
}
set_interest(epfd, sv[0], 0);
puts("queue empty, EPOLLOUT=off");
close(epfd);
close(sv[0]);
close(sv[1]);
return 0;
}运行方式:
gcc -O2 -Wall -Wextra partial_write.c -o partial_write && ./partial_write预期输出:
pending data kept, EPOLLOUT=on
queue empty, EPOLLOUT=offEPOLLOUT 只在需要时打开
EPOLLOUT 通常表示“此刻有空间可写”,而连接在大多数时间都满足这个条件。如果从连接建立开始就永久监听 EPOLLOUT,事件循环会不断拿到可写事件,即使应用根本没有待发送数据,最终形成无意义的唤醒和 CPU 空转。
更稳妥的规则是:业务产生数据后先尝试直接写;只要队列仍有剩余数据,就把 EPOLLOUT 加入兴趣集合。收到可写事件后持续发送,直到队列清空或再次遇到 EAGAIN。队列一旦清空,立即用 epoll_ctl(..., EPOLL_CTL_MOD, ...) 移除 EPOLLOUT。
在边缘触发模式下,这条规则更严格:收到 EPOLLOUT 后应尽量写到再次出现 EAGAIN,否则可能因为没有新的“不可写到可写”边沿而迟迟等不到下一次通知。水平触发模式虽然会继续通知,但永久保留 EPOLLOUT 仍会造成事件风暴。
队列实现要守住的边界
输出队列不要保存指向临时栈内存的裸指针;业务缓冲区离开作用域后,后续 EPOLLOUT 再访问会成为悬空引用。可以复制数据到连接拥有的缓冲区,或使用带引用计数、生命周期明确的消息对象。
关闭连接前也要区分“正常发送完后关闭”和“立即失败关闭”。如果协议要求把已排队响应发送完,应设置待关闭状态,在队列清空后再 close;若遇到 EPIPE、ECONNRESET 等不可恢复错误,则应直接释放队列和连接资源。
最终可以把写路径归纳为一个不变式:队列中的每个字节要么尚未发送,要么已经通过偏移明确跳过;任何时候都不能既丢弃未发送数据,也不能从旧偏移重复发送。