C / C++ / 系统课时

处理短写与写缓冲回压

处理短写与写缓冲回压

非阻塞连接里,write 成功并不等于整段数据已经发完。本节把发送路径改造成可持续推进的状态机:能直写就直写,剩余数据进入输出缓冲,只在真正需要时监听可写事件,并用高低水位限制生产速度。

学习目标

  • 正确处理短写、EAGAIN 与 EWOULDBLOCK
  • 用输出缓冲配合可写事件完成剩余数据发送
  • 通过高低水位实现基本回压,避免内存无限增长

发送为什么会短写

TCP 是字节流,内核发送缓冲区的可用空间可能小于本次待发送数据。非阻塞套接字调用 write 后有三种常见结果:全部写入、只写入一部分、返回 -1 且错误为 EAGAIN 或 EWOULDBLOCK。后两种都不是连接异常,只表示当前不能继续向内核塞数据。

因此发送函数不能把应用层待发送长度直接当成已经发送长度。正确做法是记录本次实际写入字节数,把余下部分交给用户态输出缓冲。

短写后进入输出缓冲并由可写事件继续排空

发送路径的核心写法

下面是事件驱动网络库中的片段示例,假设 fd_ 已设为非阻塞,output_ 是连续字节缓冲,enableWriteEvent() 与 disableWriteEvent() 分别控制 Reactor 对可写事件的关注。

cpp
void Connection::send(const char* data, std::size_t len) {
    std::size_t written = 0;

    if (output_.empty()) {
        ssize_t n = ::write(fd_, data, len);
        if (n > 0) {
            written = static_cast<std::size_t>(n);
        } else if (n < 0 && errno != EAGAIN && errno != EWOULDBLOCK) {
            handleWriteError(errno);
            return;
        }
    }

    if (written < len) {
        // 只保存本次尚未交给内核的部分。
        output_.append(data + written, len - written);
        enableWriteEvent();
    }
}

void Connection::handleWritable() {
    while (!output_.empty()) {
        ssize_t n = ::write(fd_, output_.data(), output_.size());
        if (n > 0) {
            output_.consume(static_cast<std::size_t>(n));
            continue;
        }
        if (n < 0 && (errno == EAGAIN || errno == EWOULDBLOCK)) {
            break;
        }
        handleWriteError(errno);
        return;
    }

    // 缓冲排空后必须停止关注可写事件,避免事件循环空转。
    if (output_.empty()) {
        disableWriteEvent();
    }
}

这是片段示例,依赖网络库已有的 Connection、缓冲区类型和事件注册接口。关键不变量有两个:只缓冲尚未写出的字节,以及缓冲为空时必须取消可写事件。

预期结果是:当内核发送缓冲暂时装不下全部数据时,调用线程不会循环忙等;剩余数据留在 output_ 中,Reactor 在套接字再次可写时继续排空,全部发送完后停止监听可写事件。

为什么可写事件必须动态启停

非阻塞套接字大部分时间都处于可写状态。如果连接建立后永久监听 EPOLLOUT,事件循环会反复收到可写通知,即使应用没有任何数据要发,最终形成高 CPU 空转。

更稳妥的规则是:输出缓冲从空变为非空时开启可写事件;缓冲被完全排空时立刻关闭。这样 Reactor 收到可写通知时,几乎总有实际工作可做。

用高低水位做回压

只解决短写还不够。如果上游持续生产 100 MB/s,而网络只能发送 10 MB/s,用户态输出缓冲仍会不断膨胀。网络库至少要暴露高水位策略,例如缓冲达到 8 MiB 时暂停读取上游、拒绝新的大消息或通知业务层降速;当缓冲回落到 4 MiB 以下再恢复。

高水位不是超过就断连接的固定规则,而是一个背压信号。RPC 框架可以暂停读取新请求,消息系统可以降低投递速度,流式服务可以暂停生产下一块数据。真正要守住的是:生产速度长期高于发送速度时,内存占用必须有上限或有可控的退让机制。

验证发送链路

压测时应同时观察单连接输出缓冲长度、进程 CPU 和可写事件触发次数。人为限制接收端读取速度后,发送端缓冲应先增长,再随着网络恢复逐步下降;缓冲清空后,可写事件触发频率应明显回落。

如果 CPU 飙高但吞吐没有增加,优先检查是否永久监听了可写事件;如果内存持续上涨,则检查高水位回调是否真正让上游停止生产。短写处理的目标不是尽快重试,而是让发送进度、事件监听和上游生产形成受控闭环。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

处理短写与写缓冲回压

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通