计算机网络 / 技术文章
epoll 的 LT 和 ET 到底有什么区别
epoll_wait 返回的是文件描述符的就绪提示。默认的 LT(Level Triggered)会继续报告仍然就绪的描述符。启用 EPOLLET 后使用 ET(Edge Triggered),程序需要记住自己有没有把已就绪的工作处理完。
为什么只读一半在 LT 与 ET 下表现不同
一个流式套接字刚收到 8 KiB 数据,第一次收到事件后应用读走 1 KiB。LT 下,只要缓冲区仍然可读,后续等待可再次报告它。ET 下,剩余的 7 KiB 仍在缓冲区。如果没有新活动,就不能指望 epoll_wait 再报一次。反过来,缓冲区尚未读空时收到新数据也可能产生额外通知。事件会合并,不能从通知次数推断收到了多少字节、多少次发送或多少条消息。 Linux epoll 手册
| 场景 | LT | ET |
|---|---|---|
| 数据只读一部分且没有新输入 | 下次等待仍可报告可读 | 需要应用记住已有工作 |
| 正常读到暂时无数据 | 可回到等待 | 可回到等待 |
| 单连接耗尽本轮处理配额 | 剩余数据使其保持可读 | 记在用户态就绪队列,排到后面继续处理 |
在 Linux 本地复现
下面用一对已连接的非阻塞流式套接字比较两种行为。先写 4 字节,只读 1 字节,随后以 0 毫秒超时观察是否仍有通知。再主动读到 EAGAIN,写入新字节,检查下一次通知。将代码保存为 epoll_demo.c,用 cc -std=c11 -Wall -Wextra -o epoll_demo epoll_demo.c 编译并运行 ./epoll_demo。
c
#include <errno.h>
#include <stdint.h>
#include <stdio.h>
#include <stdlib.h>
#include <sys/epoll.h>
#include <sys/socket.h>
#include <unistd.h>
static void require(int ok, const char *what) {
if (!ok) {
fprintf(stderr, "%s failed\n", what);
exit(EXIT_FAILURE);
}
}
static int poll_readable(int epfd) {
struct epoll_event event;
int ready;
do {
ready = epoll_wait(epfd, &event, 1, 0);
} while (ready < 0 && errno == EINTR);
require(ready >= 0, "epoll_wait");
require(ready == 0 || (event.events & EPOLLIN), "expected readable event");
return ready;
}
static size_t drain(int fd) {
size_t total = 0;
char buf[16];
for (;;) {
ssize_t n = recv(fd, buf, sizeof buf, 0);
if (n > 0) {
total += (size_t)n;
continue;
}
if (n < 0 && errno == EINTR) continue;
if (n < 0 && (errno == EAGAIN || errno == EWOULDBLOCK)) return total;
require(0, "recv in demo with peer still open");
}
}
static void demo(const char *name, uint32_t flags) {
int pair[2];
require(socketpair(AF_UNIX, SOCK_STREAM | SOCK_NONBLOCK, 0, pair) == 0,
"socketpair");
int epfd = epoll_create1(EPOLL_CLOEXEC);
require(epfd >= 0, "epoll_create1");
struct epoll_event interest = { .events = EPOLLIN | flags };
require(epoll_ctl(epfd, EPOLL_CTL_ADD, pair[0], &interest) == 0, "epoll_ctl");
require(send(pair[1], "abcd", 4, MSG_NOSIGNAL) == 4, "send first batch");
require(poll_readable(epfd) == 1, "first notification");
char first;
require(recv(pair[0], &first, 1, 0) == 1 && first == 'a', "recv one byte");
int after_partial = poll_readable(epfd);
size_t remaining = drain(pair[0]);
require(send(pair[1], "e", 1, MSG_NOSIGNAL) == 1, "send again");
int after_new = poll_readable(epfd);
require(drain(pair[0]) == 1, "recv new byte");
printf("%s: partial=%d, drained=%zu, after_new=%d\n",
name, after_partial, remaining, after_new);
close(epfd);
close(pair[0]);
close(pair[1]);
}
int main(void) {
demo("LT", 0);
demo("ET", EPOLLET);
return 0;
}预期输出中,LT 的 partial=1,ET 的 partial=0。两次实验的 drained=3,说明 ET 没有再次通知时缓冲区仍然有三字节。读尽后有新写入,两种模式都得到 after_new=1。
实际事件循环怎样处理读、写与关闭
- 读取。 收到可读提示后读取非阻塞描述符。
recv大于零时按协议拼接字节流,EINTR时重试,EAGAIN或EWOULDBLOCK时等下次就绪。流式套接字返回零表示收到对端写方向的 EOF,本端若还有响应需要发出,应按协议处理半关闭。遇到EPOLLHUP或EPOLLRDHUP时,先考虑已有数据,避免直接关闭丢掉尚未读取的字节。EPOLLERR可通过getsockopt(SO_ERROR)核对套接字错误。 - 监听。 ET 下也要将监听套接字设为非阻塞,并循环接收新连接直到暂时没有待接连接。Linux 上用
accept4(..., SOCK_NONBLOCK | SOCK_CLOEXEC)给新连接设置标志。监听套接字的非阻塞状态与新连接的标志需要分别处理。 Linux accept 手册 - 发送。 新数据放入应用队列时先尝试发送,按实际写入字节推进偏移。遇到
EAGAIN且还有数据待发时监听EPOLLOUT,下次可写时继续。应用发送队列清空即可撤销写事件关注,无须等待内核缓冲区清空。在 LT 下,持续监听已经可写的空闲连接会造成重复唤醒。Linux 的MSG_NOSIGNAL可抑制本次发送触发的SIGPIPE,仍需处理EPIPE。 Linux send 手册 - 公平调度。 单个高流量连接可能一直可读。达到处理配额且尚未读到
EAGAIN时,将它加入应用的就绪队列,在后续轮次继续;确认本轮已无可处理数据才单靠内核通知。启用了EPOLLONESHOT时还要按连接所有权规则用EPOLL_CTL_MOD重新启用事件。
初次实现可先用 LT 验证状态机,若考虑 ET,应以实际负载比较等待调用次数、CPU 使用率和延迟,并验证半关闭、写入积压和持续可读等场景。