计算机网络 / 技术文章

epoll 的 LT 和 ET 到底有什么区别

epoll_wait 返回的是文件描述符的就绪提示。默认的 LT(Level Triggered)会继续报告仍然就绪的描述符。启用 EPOLLET 后使用 ET(Edge Triggered),程序需要记住自己有没有把已就绪的工作处理完。

为什么只读一半在 LT 与 ET 下表现不同

一个流式套接字刚收到 8 KiB 数据,第一次收到事件后应用读走 1 KiB。LT 下,只要缓冲区仍然可读,后续等待可再次报告它。ET 下,剩余的 7 KiB 仍在缓冲区。如果没有新活动,就不能指望 epoll_wait 再报一次。反过来,缓冲区尚未读空时收到新数据也可能产生额外通知。事件会合并,不能从通知次数推断收到了多少字节、多少次发送或多少条消息。 Linux epoll 手册

场景 LT ET
数据只读一部分且没有新输入 下次等待仍可报告可读 需要应用记住已有工作
正常读到暂时无数据 可回到等待 可回到等待
单连接耗尽本轮处理配额 剩余数据使其保持可读 记在用户态就绪队列,排到后面继续处理

在 Linux 本地复现

下面用一对已连接的非阻塞流式套接字比较两种行为。先写 4 字节,只读 1 字节,随后以 0 毫秒超时观察是否仍有通知。再主动读到 EAGAIN,写入新字节,检查下一次通知。将代码保存为 epoll_demo.c,用 cc -std=c11 -Wall -Wextra -o epoll_demo epoll_demo.c 编译并运行 ./epoll_demo。

c
#include <errno.h>
#include <stdint.h>
#include <stdio.h>
#include <stdlib.h>
#include <sys/epoll.h>
#include <sys/socket.h>
#include <unistd.h>

static void require(int ok, const char *what) {
    if (!ok) {
        fprintf(stderr, "%s failed\n", what);
        exit(EXIT_FAILURE);
    }
}

static int poll_readable(int epfd) {
    struct epoll_event event;
    int ready;
    do {
        ready = epoll_wait(epfd, &event, 1, 0);
    } while (ready < 0 && errno == EINTR);
    require(ready >= 0, "epoll_wait");
    require(ready == 0 || (event.events & EPOLLIN), "expected readable event");
    return ready;
}

static size_t drain(int fd) {
    size_t total = 0;
    char buf[16];
    for (;;) {
        ssize_t n = recv(fd, buf, sizeof buf, 0);
        if (n > 0) {
            total += (size_t)n;
            continue;
        }
        if (n < 0 && errno == EINTR) continue;
        if (n < 0 && (errno == EAGAIN || errno == EWOULDBLOCK)) return total;
        require(0, "recv in demo with peer still open");
    }
}

static void demo(const char *name, uint32_t flags) {
    int pair[2];
    require(socketpair(AF_UNIX, SOCK_STREAM | SOCK_NONBLOCK, 0, pair) == 0,
            "socketpair");
    int epfd = epoll_create1(EPOLL_CLOEXEC);
    require(epfd >= 0, "epoll_create1");
    struct epoll_event interest = { .events = EPOLLIN | flags };
    require(epoll_ctl(epfd, EPOLL_CTL_ADD, pair[0], &interest) == 0, "epoll_ctl");
    require(send(pair[1], "abcd", 4, MSG_NOSIGNAL) == 4, "send first batch");
    require(poll_readable(epfd) == 1, "first notification");
    char first;
    require(recv(pair[0], &first, 1, 0) == 1 && first == 'a', "recv one byte");
    int after_partial = poll_readable(epfd);
    size_t remaining = drain(pair[0]);
    require(send(pair[1], "e", 1, MSG_NOSIGNAL) == 1, "send again");
    int after_new = poll_readable(epfd);
    require(drain(pair[0]) == 1, "recv new byte");
    printf("%s: partial=%d, drained=%zu, after_new=%d\n",
           name, after_partial, remaining, after_new);
    close(epfd);
    close(pair[0]);
    close(pair[1]);
}

int main(void) {
    demo("LT", 0);
    demo("ET", EPOLLET);
    return 0;
}

预期输出中,LT 的 partial=1,ET 的 partial=0。两次实验的 drained=3,说明 ET 没有再次通知时缓冲区仍然有三字节。读尽后有新写入,两种模式都得到 after_new=1。

实际事件循环怎样处理读、写与关闭

  • 读取。 收到可读提示后读取非阻塞描述符。recv 大于零时按协议拼接字节流,EINTR 时重试,EAGAIN 或 EWOULDBLOCK 时等下次就绪。流式套接字返回零表示收到对端写方向的 EOF,本端若还有响应需要发出,应按协议处理半关闭。遇到 EPOLLHUP 或 EPOLLRDHUP 时,先考虑已有数据,避免直接关闭丢掉尚未读取的字节。EPOLLERR 可通过 getsockopt(SO_ERROR) 核对套接字错误。
  • 监听。 ET 下也要将监听套接字设为非阻塞,并循环接收新连接直到暂时没有待接连接。Linux 上用 accept4(..., SOCK_NONBLOCK | SOCK_CLOEXEC) 给新连接设置标志。监听套接字的非阻塞状态与新连接的标志需要分别处理。 Linux accept 手册
  • 发送。 新数据放入应用队列时先尝试发送,按实际写入字节推进偏移。遇到 EAGAIN 且还有数据待发时监听 EPOLLOUT,下次可写时继续。应用发送队列清空即可撤销写事件关注,无须等待内核缓冲区清空。在 LT 下,持续监听已经可写的空闲连接会造成重复唤醒。Linux 的 MSG_NOSIGNAL 可抑制本次发送触发的 SIGPIPE,仍需处理 EPIPE。 Linux send 手册
  • 公平调度。 单个高流量连接可能一直可读。达到处理配额且尚未读到 EAGAIN 时,将它加入应用的就绪队列,在后续轮次继续;确认本轮已无可处理数据才单靠内核通知。启用了 EPOLLONESHOT 时还要按连接所有权规则用 EPOLL_CTL_MOD 重新启用事件。

初次实现可先用 LT 验证状态机,若考虑 ET,应以实际负载比较等待调用次数、CPU 使用率和延迟,并验证半关闭、写入积压和持续可读等场景。

目录与阅读设置

记录一个想法

epoll 的 LT 和 ET 到底有什么区别

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通