操作系统 / 系统课时
管理非阻塞写与输出缓冲
管理非阻塞写与输出缓冲
非阻塞连接的 send 也可能只写出一部分,甚至返回 EAGAIN。事件驱动服务器因此需要为每条连接保存待发送数据和写偏移,只在确实还有数据时监听 EPOLLOUT,全部写完后立即取消可写事件,避免空闲连接持续被唤醒。
学习目标
- 建立连接级输出缓冲区,并保存部分写出的进度
- 在
send返回EAGAIN时保留剩余数据,等待下一次可写事件 - 只在存在待发送数据时启用
EPOLLOUT,写空后及时关闭
为什么不能直接假设 send 全部成功
即使套接字当前可写,send(fd, buf, len, ...) 的返回值也可能小于 len。当内核发送缓冲区暂时没有空间时,非阻塞套接字会返回 -1,并把 errno 设为 EAGAIN 或 EWOULDBLOCK。
因此,业务代码生成响应后应先把数据加入连接的输出缓冲区,再由统一的 flush 逻辑负责发送。连接对象需要记录“缓冲区起点”和“结束位置”,已经写出的字节只推进起点,不得把尚未发送的尾部覆盖掉。

把 EPOLLOUT 当成按需开关
下面的程序用 socketpair 模拟客户端与服务器连接。服务器端初始只监听读事件;当 enqueue 放入 "hello" 后,通过 epoll_ctl(EPOLL_CTL_MOD) 打开 EPOLLOUT。flush_output 会一直发送到缓冲区清空或遇到 EAGAIN,完全写空后再关闭 EPOLLOUT。
#define _GNU_SOURCE
#include <errno.h>
#include <fcntl.h>
#include <stdio.h>
#include <stdlib.h>
#include <string.h>
#include <sys/epoll.h>
#include <sys/socket.h>
#include <unistd.h>
struct Conn {
int fd;
char out[4096];
size_t begin;
size_t end;
int want_write;
};
static size_t pending(const struct Conn *c) {
return c->end - c->begin;
}
static void update_interest(int epfd, struct Conn *c) {
struct epoll_event ev = {0};
// EPOLLOUT 是按需兴趣:只有输出缓冲区非空时才加入事件掩码。
ev.events = EPOLLIN | EPOLLRDHUP;
if (c->want_write) {
ev.events |= EPOLLOUT;
}
ev.data.ptr = c;
if (epoll_ctl(epfd, EPOLL_CTL_MOD, c->fd, &ev) == -1) {
perror("epoll_ctl MOD");
exit(1);
}
}
static void enqueue(int epfd, struct Conn *c, const char *data, size_t n) {
// 示例使用固定缓冲区;生产实现应把“满了怎么办”设计成明确的背压策略。
if (n > sizeof(c->out) - c->end) {
fprintf(stderr, "output buffer full\n");
exit(1);
}
memcpy(c->out + c->end, data, n);
c->end += n;
if (!c->want_write) {
c->want_write = 1;
update_interest(epfd, c);
}
}
static void flush_output(int epfd, struct Conn *c) {
// 尽可能多写;部分成功只推进 begin,不能丢弃尾部。
while (c->begin < c->end) {
ssize_t n = send(c->fd, c->out + c->begin, pending(c), MSG_NOSIGNAL);
if (n > 0) {
c->begin += (size_t)n;
continue;
}
if (n == -1 && (errno == EAGAIN || errno == EWOULDBLOCK)) {
// 内核发送缓冲区暂时满,保留进度并等待下一次 EPOLLOUT。
return;
}
perror("send");
exit(1);
}
// 全部写空后复位游标,并立即关闭不再需要的 EPOLLOUT。
c->begin = 0;
c->end = 0;
c->want_write = 0;
update_interest(epfd, c);
}
int main(void) {
int sv[2];
if (socketpair(AF_UNIX, SOCK_STREAM, 0, sv) == -1) {
perror("socketpair");
return 1;
}
int flags = fcntl(sv[0], F_GETFL, 0);
if (flags == -1 || fcntl(sv[0], F_SETFL, flags | O_NONBLOCK) == -1) {
perror("fcntl");
return 1;
}
int epfd = epoll_create1(EPOLL_CLOEXEC);
if (epfd == -1) {
perror("epoll_create1");
return 1;
}
struct Conn c = { .fd = sv[0] };
struct epoll_event ev = { .events = EPOLLIN | EPOLLRDHUP, .data.ptr = &c };
if (epoll_ctl(epfd, EPOLL_CTL_ADD, c.fd, &ev) == -1) {
perror("epoll_ctl ADD");
return 1;
}
enqueue(epfd, &c, "hello", 5);
printf("after enqueue: pending=%zu, EPOLLOUT=%s\n",
pending(&c), c.want_write ? "on" : "off");
struct epoll_event ready;
int nready = epoll_wait(epfd, &ready, 1, 1000);
printf("epoll says writable=%s\n",
nready == 1 && (ready.events & EPOLLOUT) ? "yes" : "no");
flush_output(epfd, &c);
printf("after flush: pending=%zu, EPOLLOUT=%s\n",
pending(&c), c.want_write ? "on" : "off");
char buf[16] = {0};
ssize_t n = recv(sv[1], buf, sizeof(buf) - 1, 0);
if (n < 0) {
perror("recv");
return 1;
}
printf("peer received=%s\n", buf);
nready = epoll_wait(epfd, &ready, 1, 0);
printf("idle epoll events=%d\n", nready);
close(epfd);
close(sv[0]);
close(sv[1]);
return 0;
}预期输出:
after enqueue: pending=5, EPOLLOUT=on
epoll says writable=yes
after flush: pending=0, EPOLLOUT=off
peer received=hello
idle epoll events=0这里的消息很短,通常会一次写完;生产环境中的大响应或慢客户端会更容易触发部分写和 EAGAIN,但同一套状态逻辑仍然成立。
遇到 EAGAIN 时不要丢数据
flush_output 的循环只有三种正常结果:成功写出若干字节并继续、遇到 EAGAIN 暂停、全部写完。遇到 EAGAIN 时不能关闭连接,也不能清空缓冲区,只需要保留 begin 与 end,并保持 EPOLLOUT 已启用。
下一次 epoll 报告连接可写后,再从 out + begin 继续发送。如果服务器使用 EPOLLET,一次可写回调中也应持续发送,直到 EAGAIN 或输出缓冲区清空,避免漏掉后续边缘。
处理缓冲区上限与慢客户端
固定大小缓冲区只是最小示例。生产服务器需要定义输出上限,例如每连接最多积压若干 MiB;超过阈值时可以暂停上游读取、拒绝继续生成响应,或者关闭长期不消费数据的慢客户端。否则单个连接就可能持续堆积响应并拖垮进程内存。
无论采用线性缓冲区、环形缓冲区还是分段链表,核心不变:待发送数据存在时打开 EPOLLOUT,写到 EAGAIN 就保留进度,完全写空后立即关闭 EPOLLOUT。这三个状态转换决定了非阻塞写是否既正确又高效。