操作系统 / 系统课时

管理非阻塞写与输出缓冲

管理非阻塞写与输出缓冲

非阻塞连接的 send 也可能只写出一部分,甚至返回 EAGAIN。事件驱动服务器因此需要为每条连接保存待发送数据和写偏移,只在确实还有数据时监听 EPOLLOUT,全部写完后立即取消可写事件,避免空闲连接持续被唤醒。

学习目标

  • 建立连接级输出缓冲区,并保存部分写出的进度
  • 在 send 返回 EAGAIN 时保留剩余数据,等待下一次可写事件
  • 只在存在待发送数据时启用 EPOLLOUT,写空后及时关闭

为什么不能直接假设 send 全部成功

即使套接字当前可写,send(fd, buf, len, ...) 的返回值也可能小于 len。当内核发送缓冲区暂时没有空间时,非阻塞套接字会返回 -1,并把 errno 设为 EAGAIN 或 EWOULDBLOCK。

因此,业务代码生成响应后应先把数据加入连接的输出缓冲区,再由统一的 flush 逻辑负责发送。连接对象需要记录“缓冲区起点”和“结束位置”,已经写出的字节只推进起点,不得把尚未发送的尾部覆盖掉。

非阻塞写缓冲与 EPOLLOUT 开关流程

把 EPOLLOUT 当成按需开关

下面的程序用 socketpair 模拟客户端与服务器连接。服务器端初始只监听读事件;当 enqueue 放入 "hello" 后,通过 epoll_ctl(EPOLL_CTL_MOD) 打开 EPOLLOUT。flush_output 会一直发送到缓冲区清空或遇到 EAGAIN,完全写空后再关闭 EPOLLOUT。

c
#define _GNU_SOURCE
#include <errno.h>
#include <fcntl.h>
#include <stdio.h>
#include <stdlib.h>
#include <string.h>
#include <sys/epoll.h>
#include <sys/socket.h>
#include <unistd.h>

struct Conn {
    int fd;
    char out[4096];
    size_t begin;
    size_t end;
    int want_write;
};

static size_t pending(const struct Conn *c) {
    return c->end - c->begin;
}

static void update_interest(int epfd, struct Conn *c) {
    struct epoll_event ev = {0};

    // EPOLLOUT 是按需兴趣:只有输出缓冲区非空时才加入事件掩码。
    ev.events = EPOLLIN | EPOLLRDHUP;
    if (c->want_write) {
        ev.events |= EPOLLOUT;
    }
    ev.data.ptr = c;

    if (epoll_ctl(epfd, EPOLL_CTL_MOD, c->fd, &ev) == -1) {
        perror("epoll_ctl MOD");
        exit(1);
    }
}

static void enqueue(int epfd, struct Conn *c, const char *data, size_t n) {
    // 示例使用固定缓冲区;生产实现应把“满了怎么办”设计成明确的背压策略。
    if (n > sizeof(c->out) - c->end) {
        fprintf(stderr, "output buffer full\n");
        exit(1);
    }

    memcpy(c->out + c->end, data, n);
    c->end += n;
    if (!c->want_write) {
        c->want_write = 1;
        update_interest(epfd, c);
    }
}

static void flush_output(int epfd, struct Conn *c) {
    // 尽可能多写;部分成功只推进 begin,不能丢弃尾部。
    while (c->begin < c->end) {
        ssize_t n = send(c->fd, c->out + c->begin, pending(c), MSG_NOSIGNAL);
        if (n > 0) {
            c->begin += (size_t)n;
            continue;
        }
        if (n == -1 && (errno == EAGAIN || errno == EWOULDBLOCK)) {
            // 内核发送缓冲区暂时满,保留进度并等待下一次 EPOLLOUT。
            return;
        }
        perror("send");
        exit(1);
    }

    // 全部写空后复位游标,并立即关闭不再需要的 EPOLLOUT。
    c->begin = 0;
    c->end = 0;
    c->want_write = 0;
    update_interest(epfd, c);
}

int main(void) {
    int sv[2];
    if (socketpair(AF_UNIX, SOCK_STREAM, 0, sv) == -1) {
        perror("socketpair");
        return 1;
    }

    int flags = fcntl(sv[0], F_GETFL, 0);
    if (flags == -1 || fcntl(sv[0], F_SETFL, flags | O_NONBLOCK) == -1) {
        perror("fcntl");
        return 1;
    }

    int epfd = epoll_create1(EPOLL_CLOEXEC);
    if (epfd == -1) {
        perror("epoll_create1");
        return 1;
    }

    struct Conn c = { .fd = sv[0] };
    struct epoll_event ev = { .events = EPOLLIN | EPOLLRDHUP, .data.ptr = &c };
    if (epoll_ctl(epfd, EPOLL_CTL_ADD, c.fd, &ev) == -1) {
        perror("epoll_ctl ADD");
        return 1;
    }

    enqueue(epfd, &c, "hello", 5);
    printf("after enqueue: pending=%zu, EPOLLOUT=%s\n",
           pending(&c), c.want_write ? "on" : "off");

    struct epoll_event ready;
    int nready = epoll_wait(epfd, &ready, 1, 1000);
    printf("epoll says writable=%s\n",
           nready == 1 && (ready.events & EPOLLOUT) ? "yes" : "no");

    flush_output(epfd, &c);
    printf("after flush: pending=%zu, EPOLLOUT=%s\n",
           pending(&c), c.want_write ? "on" : "off");

    char buf[16] = {0};
    ssize_t n = recv(sv[1], buf, sizeof(buf) - 1, 0);
    if (n < 0) {
        perror("recv");
        return 1;
    }
    printf("peer received=%s\n", buf);

    nready = epoll_wait(epfd, &ready, 1, 0);
    printf("idle epoll events=%d\n", nready);

    close(epfd);
    close(sv[0]);
    close(sv[1]);
    return 0;
}

预期输出:

text
after enqueue: pending=5, EPOLLOUT=on
epoll says writable=yes
after flush: pending=0, EPOLLOUT=off
peer received=hello
idle epoll events=0

这里的消息很短,通常会一次写完;生产环境中的大响应或慢客户端会更容易触发部分写和 EAGAIN,但同一套状态逻辑仍然成立。

遇到 EAGAIN 时不要丢数据

flush_output 的循环只有三种正常结果:成功写出若干字节并继续、遇到 EAGAIN 暂停、全部写完。遇到 EAGAIN 时不能关闭连接,也不能清空缓冲区,只需要保留 begin 与 end,并保持 EPOLLOUT 已启用。

下一次 epoll 报告连接可写后,再从 out + begin 继续发送。如果服务器使用 EPOLLET,一次可写回调中也应持续发送,直到 EAGAIN 或输出缓冲区清空,避免漏掉后续边缘。

处理缓冲区上限与慢客户端

固定大小缓冲区只是最小示例。生产服务器需要定义输出上限,例如每连接最多积压若干 MiB;超过阈值时可以暂停上游读取、拒绝继续生成响应,或者关闭长期不消费数据的慢客户端。否则单个连接就可能持续堆积响应并拖垮进程内存。

无论采用线性缓冲区、环形缓冲区还是分段链表,核心不变:待发送数据存在时打开 EPOLLOUT,写到 EAGAIN 就保留进度,完全写空后立即关闭 EPOLLOUT。这三个状态转换决定了非阻塞写是否既正确又高效。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

管理非阻塞写与输出缓冲

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通