计算机网络 / 系统课时

写缓冲区怎么处理部分写入

写缓冲区怎么处理部分写入

非阻塞连接里,一次 send 可能只写出部分数据,也可能直接返回 EAGAIN。本节把“剩余数据放哪里、下次从哪里继续、何时监听 EPOLLOUT”串成一套可直接落地的写缓冲区机制,避免丢包、重复发送和可写事件空转。

学习目标

  • 正确解释部分写入、EAGAIN 与发送缓冲区之间的关系。
  • 用输出队列和写偏移保存未发送数据,并在后续可写事件中继续发送。
  • 只在确有待发送数据时注册 EPOLLOUT,队列清空后立即取消。

为什么一次 send 不等于一次消息

TCP 提供的是字节流,不承诺应用层一次 send 的数据会在一次系统调用中全部进入内核发送缓冲区。非阻塞套接字上,send(fd, buf, len, ...) 可能返回 0 < n < len,表示只接受了前 n 个字节;也可能返回 -1 且 errno 为 EAGAIN 或 EWOULDBLOCK,表示当前一个字节也放不进去。

因此应用层必须把“已经写到哪里”变成连接状态的一部分。最小状态通常包括输出队列、当前队首块和块内偏移。只有当某个块的全部字节都发送完成,才能从队列移除它;部分写入后必须保留原块,并把偏移推进到返回值 n 对应的位置。

部分写入与输出队列的关系

常见返回值可以按下面的规则处理:

send 结果 连接动作
n > 0 偏移增加 n;若当前块写完则出队并继续写下一块
-1 且 EINTR 立即重试当前调用
-1 且 EAGAIN/EWOULDBLOCK 保留队列和偏移,停止本轮写,等待 EPOLLOUT
其他错误 视为连接写失败,进入关闭或错误处理

用输出队列保存未完成的数据

下面的程序用 socketpair 构造一个本地非阻塞连接:先把发送缓冲区写满,再尝试发送 HELLO。第一次发送无法完成时保留偏移并打开 EPOLLOUT;对端读走旧数据后,epoll 通知可写,程序从原偏移继续发送,最后关闭 EPOLLOUT。示例运行在 Linux。

c
#define _GNU_SOURCE
#include <errno.h>
#include <fcntl.h>
#include <stdio.h>
#include <stdlib.h>
#include <string.h>
#include <sys/epoll.h>
#include <sys/socket.h>
#include <unistd.h>

static void die(const char *msg) {
    perror(msg);
    exit(EXIT_FAILURE);
}

static void set_nonblock(int fd) {
    int flags = fcntl(fd, F_GETFL, 0);
    if (flags == -1 || fcntl(fd, F_SETFL, flags | O_NONBLOCK) == -1) {
        die("fcntl");
    }
}

static void set_interest(int epfd, int fd, int want_write) {
    struct epoll_event ev = {0};
    ev.data.fd = fd;
    ev.events = EPOLLIN | (want_write ? EPOLLOUT : 0);
    if (epoll_ctl(epfd, EPOLL_CTL_MOD, fd, &ev) == -1) {
        die("epoll_ctl MOD");
    }
}

int main(void) {
    int sv[2];
    if (socketpair(AF_UNIX, SOCK_STREAM, 0, sv) == -1) {
        die("socketpair");
    }
    set_nonblock(sv[0]);
    set_nonblock(sv[1]);

    int sndbuf = 4096;
    if (setsockopt(sv[0], SOL_SOCKET, SO_SNDBUF, &sndbuf, sizeof(sndbuf)) == -1) {
        die("setsockopt");
    }

    int epfd = epoll_create1(0);
    if (epfd == -1) {
        die("epoll_create1");
    }

    struct epoll_event ev = {0};
    ev.data.fd = sv[0];
    ev.events = EPOLLIN;
    if (epoll_ctl(epfd, EPOLL_CTL_ADD, sv[0], &ev) == -1) {
        die("epoll_ctl ADD");
    }

    char filler[1024];
    memset(filler, 'x', sizeof(filler));

    /* 先填满发送缓冲区,直到非阻塞 send 返回 EAGAIN。 */
    for (;;) {
        ssize_t n = send(sv[0], filler, sizeof(filler), MSG_NOSIGNAL);
        if (n > 0) {
            continue;
        }
        if (n == -1 && errno == EINTR) {
            continue;
        }
        if (n == -1 && (errno == EAGAIN || errno == EWOULDBLOCK)) {
            break;
        }
        die("prefill send");
    }

    const char msg[] = "HELLO";
    size_t off = 0;
    ssize_t n = send(sv[0], msg + off, 5 - off, MSG_NOSIGNAL);
    if (n > 0) {
        off += (size_t)n;
    }
    if (off < 5) {
        set_interest(epfd, sv[0], 1);
        puts("pending data kept, EPOLLOUT=on");
    }

    /* 对端读走旧数据,为后续写入腾出空间。 */
    char drain[8192];
    while (recv(sv[1], drain, sizeof(drain), 0) > 0) {
    }
    if (errno != EAGAIN && errno != EWOULDBLOCK) {
        die("recv");
    }

    struct epoll_event ready;
    int count = epoll_wait(epfd, &ready, 1, 1000);
    if (count != 1 || !(ready.events & EPOLLOUT)) {
        fprintf(stderr, "EPOLLOUT not received\n");
        return EXIT_FAILURE;
    }

    while (off < 5) {
        n = send(sv[0], msg + off, 5 - off, MSG_NOSIGNAL);
        if (n > 0) {
            off += (size_t)n;
            continue;
        }
        if (n == -1 && errno == EINTR) {
            continue;
        }
        if (n == -1 && (errno == EAGAIN || errno == EWOULDBLOCK)) {
            continue;
        }
        die("flush send");
    }

    set_interest(epfd, sv[0], 0);
    puts("queue empty, EPOLLOUT=off");

    close(epfd);
    close(sv[0]);
    close(sv[1]);
    return 0;
}

运行方式:

bash
gcc -O2 -Wall -Wextra partial_write.c -o partial_write && ./partial_write

预期输出:

text
pending data kept, EPOLLOUT=on
queue empty, EPOLLOUT=off

EPOLLOUT 只在需要时打开

EPOLLOUT 通常表示“此刻有空间可写”,而连接在大多数时间都满足这个条件。如果从连接建立开始就永久监听 EPOLLOUT,事件循环会不断拿到可写事件,即使应用根本没有待发送数据,最终形成无意义的唤醒和 CPU 空转。

更稳妥的规则是:业务产生数据后先尝试直接写;只要队列仍有剩余数据,就把 EPOLLOUT 加入兴趣集合。收到可写事件后持续发送,直到队列清空或再次遇到 EAGAIN。队列一旦清空,立即用 epoll_ctl(..., EPOLL_CTL_MOD, ...) 移除 EPOLLOUT。

在边缘触发模式下,这条规则更严格:收到 EPOLLOUT 后应尽量写到再次出现 EAGAIN,否则可能因为没有新的“不可写到可写”边沿而迟迟等不到下一次通知。水平触发模式虽然会继续通知,但永久保留 EPOLLOUT 仍会造成事件风暴。

队列实现要守住的边界

输出队列不要保存指向临时栈内存的裸指针;业务缓冲区离开作用域后,后续 EPOLLOUT 再访问会成为悬空引用。可以复制数据到连接拥有的缓冲区,或使用带引用计数、生命周期明确的消息对象。

关闭连接前也要区分“正常发送完后关闭”和“立即失败关闭”。如果协议要求把已排队响应发送完,应设置待关闭状态,在队列清空后再 close;若遇到 EPIPE、ECONNRESET 等不可恢复错误,则应直接释放队列和连接资源。

最终可以把写路径归纳为一个不变式:队列中的每个字节要么尚未发送,要么已经通过偏移明确跳过;任何时候都不能既丢弃未发送数据,也不能从旧偏移重复发送。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

写缓冲区怎么处理部分写入

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通