计算机网络 / 系统课时

ET模式下请求为什么像丢了

ET模式下请求为什么像丢了

ET 模式最典型的线上现象是连接仍在、客户端也已经发送数据,但服务端像再也收不到后续请求。多数情况下数据并没有丢,而是程序收到边沿通知后只读取了一部分,没有把 fd 消费到 EAGAIN,因此后续没有新的状态变化来再次提醒它。

学习目标

  • 理解 ET 只通知状态边沿,而不是持续提醒“现在还有数据”。
  • 正确实现非阻塞读、循环消费和应用层缓冲区解析。
  • 检查 EPOLLONESHOT、处理顺序和 fd 生命周期导致的假性丢请求。

ET为什么会留下未处理数据

水平触发模式下,只要 socket 仍可读,下一次 epoll_wait 还会继续返回它。ET 模式不同:内核主要在 fd 从“不可读”变成“可读”等状态变化时通知一次。因此收到 EPOLLIN 后只调用一次 recv 是高风险写法。

例如内核接收缓冲区已经有 20 KB,而代码每次只读取 4 KB。如果读取后直接回到 epoll_wait,剩余数据依然让 fd 保持可读,并没有发生新的“不可读到可读”边沿。程序可能长时间得不到新的 EPOLLIN,从业务视角看就像请求被吞掉。

这也是 ET 几乎总要与非阻塞 fd 配合:事件处理函数应反复读取,直到 recv 返回 -1 且 errno 为 EAGAIN 或 EWOULDBLOCK,这才表示当前这一轮已经把内核可立即提供的数据消费完。

ET模式读取与解析链路

正确的读取循环

下面是 ET 连接读取的核心片段。片段示例假设 fd 已通过 fcntl 设置为 O_NONBLOCK,调用方已经处理 epoll 注册和连接对象生命周期,append_to_input_buffer 用于把收到的数据追加到该连接的用户态输入缓冲区。

c
#include <errno.h>
#include <sys/socket.h>
#include <unistd.h>

static int handle_read_et(int fd) {
    char buf[4096];

    for (;;) {
        ssize_t n = recv(fd, buf, sizeof(buf), 0);

        if (n > 0) {
            // ET 的关键是继续读,不因一次成功 recv 就退出。
            append_to_input_buffer(fd, buf, (size_t)n);
            continue;
        }

        if (n == 0) {
            // 对端已经正常关闭,不能继续等待下一次读事件。
            close_connection(fd);
            return -1;
        }

        if (errno == EINTR) {
            continue;
        }
        if (errno == EAGAIN || errno == EWOULDBLOCK) {
            return 0;
        }

        close_connection(fd);
        return -1;
    }
}

这里真正的结束条件不是“已经读过一次”,而是“读到了 EAGAIN”。如果单次事件可能带来大量数据,还应给单连接设置合理的处理预算,防止一个热点连接长期占据事件循环;预算用尽时需要确保仍有可靠的继续处理机制,而不是简单退出后期待一个不会出现的新边沿。

数据读完了仍可能卡在解析层

把内核缓冲区读到 EAGAIN 只解决了一半问题。TCP 是字节流,一次 recv 可能得到半个请求,也可能得到多个请求。如果程序只在每次 epoll 事件后尝试解析一个消息,那么用户态缓冲区里即使已经存在第二个完整请求,也可能因为没有新网络边沿而迟迟不处理。

正确顺序通常是:先把 socket 当前可读数据尽量搬到用户态缓冲区,再循环解析其中所有完整消息,直到只剩不完整消息。残缺数据保留在连接缓冲区,下一次新的字节到达后再继续拼接。

如果故障只在粘包、较大请求或客户端连续发送多个请求时出现,应优先检查这个解析循环,而不是直接怀疑 epoll 丢事件。

再检查EPOLLONESHOT和处理顺序

如果同时注册了 EPOLLONESHOT,一次事件被取出后,该 fd 会被禁用,直到程序通过 epoll_ctl 的 EPOLL_CTL_MOD 再次启用它。工作线程处理完成却忘记 rearm,会表现为连接只成功处理第一次事件,之后永久沉默。

rearm 的时机也要与连接状态恢复配套。通常应先完成当前读取、解析和状态更新,确认连接仍然有效,再修改 epoll interest 恢复监听。若 fd 已经关闭,就不能让迟到的任务再对相同整数 fd 执行 EPOLL_CTL_MOD,否则 fd 被操作系统复用后可能误伤另一个连接。

排查时可以为每个连接记录“收到 EPOLLIN、累计读取字节、最后一次 recv 结果、解析完成消息数、是否 oneshot rearm”这些关键状态。如果最后一次读取不是 EAGAIN 就退出读取循环,问题通常在 drain 逻辑;如果已经 EAGAIN,但用户态缓冲区仍有完整消息,则问题在解析调度;如果 oneshot 处理结束后没有 rearm,则问题在事件恢复。

用最小条件验证修复

验证 ET 修复时,不要只发送一条很小的请求。至少覆盖“大于单次接收缓冲区的请求”和“同一连接连续发送多个请求”这两种情况,它们最容易暴露只读一次和只解析一次的问题。

修复后的事件记录应呈现清晰的闭环:一次 EPOLLIN 后可能发生多次成功 recv,最终以 EAGAIN 结束;随后解析器处理当前所有完整消息。只有新的网络数据再次让 fd 发生可读状态变化时,事件循环才需要新的边沿通知。做到这一点后,所谓 ET“丢请求”通常就会还原成可定位的读取、解析或 rearm 状态错误。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

ET模式下请求为什么像丢了

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通