操作系统 / 系统课时

用 epoll 管理大量活跃连接

用 epoll 管理大量活跃连接

当服务器维护成千上万个连接时,真正昂贵的往往不是等待本身,而是每轮都扫描大量未就绪描述符。本篇用可运行的回显服务器串起 epoll_create1、epoll_ctl 与 epoll_wait,建立兴趣集合和就绪事件的正确模型。

学习目标

  • 使用 epoll_create1 创建实例,并用 epoll_ctl 增删关注描述符
  • 使用 epoll_wait 只处理本轮返回的就绪事件
  • 区分默认水平触发行为与生产环境中的非阻塞、背压处理需求

epoll 把兴趣集合留在内核中

epoll 不要求每次等待都重新提交完整描述符数组。程序先创建 epoll 实例,再通过 epoll_ctl 把监听套接字和客户端加入兴趣集合;后续 epoll_wait 只返回当前已经就绪的事件记录。

epoll 兴趣集合与就绪事件路径

三个核心调用可以按生命周期理解:epoll_create1 创建实例,epoll_ctl 维护兴趣集合,epoll_wait 等待并取回就绪事件。新增连接通常执行 EPOLL_CTL_ADD;需要改变关注掩码时用 EPOLL_CTL_MOD;主动移除时可用 EPOLL_CTL_DEL。

用 epoll 构建回显服务器

下面使用默认的水平触发模式,不启用 EPOLLET。这样只要某个套接字仍有未读数据,后续 epoll_wait 还会继续报告它,更适合先理解基本事件循环。

c
#include <arpa/inet.h>
#include <errno.h>
#include <signal.h>
#include <stdio.h>
#include <stdlib.h>
#include <sys/epoll.h>
#include <sys/socket.h>
#include <unistd.h>

#define PORT 8080
#define MAX_EVENTS 64
#define BUFFER_SIZE 1024

static int create_listener(void) {
    int fd = socket(AF_INET, SOCK_STREAM, 0);
    if (fd < 0) {
        perror("socket");
        exit(EXIT_FAILURE);
    }

    int yes = 1;
    if (setsockopt(fd, SOL_SOCKET, SO_REUSEADDR, &yes, sizeof(yes)) < 0) {
        perror("setsockopt");
        exit(EXIT_FAILURE);
    }

    struct sockaddr_in addr = {
        .sin_family = AF_INET,
        .sin_port = htons(PORT),
        .sin_addr.s_addr = htonl(INADDR_ANY)
    };

    if (bind(fd, (struct sockaddr *)&addr, sizeof(addr)) < 0) {
        perror("bind");
        exit(EXIT_FAILURE);
    }
    if (listen(fd, SOMAXCONN) < 0) {
        perror("listen");
        exit(EXIT_FAILURE);
    }
    return fd;
}

static void add_fd(int epfd, int fd, uint32_t events) {
    struct epoll_event ev = {
        .events = events,
        .data.fd = fd
    };
    if (epoll_ctl(epfd, EPOLL_CTL_ADD, fd, &ev) < 0) {
        perror("epoll_ctl ADD");
        exit(EXIT_FAILURE);
    }
}

static void send_all(int fd, const char *buf, size_t len) {
    size_t sent = 0;
    while (sent < len) {
        ssize_t n = send(fd, buf + sent, len - sent, 0);
        if (n > 0) {
            sent += (size_t)n;
        } else if (n < 0 && errno == EINTR) {
            continue;
        } else {
            break;
        }
    }
}

int main(void) {
    signal(SIGPIPE, SIG_IGN);
    int listen_fd = create_listener();
    int epfd = epoll_create1(EPOLL_CLOEXEC);
    if (epfd < 0) {
        perror("epoll_create1");
        return EXIT_FAILURE;
    }

    add_fd(epfd, listen_fd, EPOLLIN);
    struct epoll_event events[MAX_EVENTS];
    printf("epoll server listening on 0.0.0.0:%d\\n", PORT);

    for (;;) {
        int count = epoll_wait(epfd, events, MAX_EVENTS, -1);
        if (count < 0) {
            if (errno == EINTR) {
                continue;
            }
            perror("epoll_wait");
            break;
        }

        for (int i = 0; i < count; ++i) {
            int fd = events[i].data.fd;
            uint32_t revents = events[i].events;

            if (fd == listen_fd) {
                int client_fd = accept(listen_fd, NULL, NULL);
                if (client_fd >= 0) {
                    add_fd(epfd, client_fd, EPOLLIN);
                }
                continue;
            }

            if (revents & (EPOLLERR | EPOLLHUP)) {
                epoll_ctl(epfd, EPOLL_CTL_DEL, fd, NULL);
                close(fd);
                continue;
            }

            if (revents & EPOLLIN) {
                char buf[BUFFER_SIZE];
                ssize_t n = recv(fd, buf, sizeof(buf), 0);
                if (n <= 0) {
                    epoll_ctl(epfd, EPOLL_CTL_DEL, fd, NULL);
                    close(fd);
                } else {
                    send_all(fd, buf, (size_t)n);
                }
            }
        }
    }

    close(epfd);
    close(listen_fd);
    return EXIT_FAILURE;
}

预期结果:将源码保存为 epoll_server.c 后,可由下方命令正常编译并进入事件循环。

在 Linux 上编译并启动:

bash
gcc -std=c11 -Wall -Wextra -O2 epoll_server.c -o epoll_server
./epoll_server

预期输出:

text
epoll server listening on 0.0.0.0:8080

另开终端验证回显:

bash
python3 -c "import socket; s=socket.create_connection(('127.0.0.1', 8080)); s.sendall(b'hello epoll\\n'); s.shutdown(socket.SHUT_WR); print(s.recv(1024).decode(), end=''); s.close()"

预期输出:

text
hello epoll

如果端口 8080 已被其他程序占用,bind 会失败并输出 Address already in use;释放端口或修改 PORT 后重新编译即可。

为什么大量空闲连接时更有优势

在 poll 模型中,应用通常持有完整连接数组,并在每次返回后检查大量条目。epoll 把长期的兴趣集合维护放到内核里,epoll_wait 返回的是一批已经就绪的 epoll_event,应用循环主要围绕这批事件工作。

这并不意味着 epoll 的所有操作都可以简单描述成固定的 O(1)。注册、删除、内核维护就绪状态以及用户态业务处理都有成本。更准确的理解是:当总连接数很大、单轮活跃连接只占一小部分时,应用不再需要像 poll 那样每轮线性检查全部连接,因此扩展性通常更好。

从教学示例走向生产事件循环

示例为了突出三个核心 API,使用了阻塞套接字和水平触发。生产服务器通常还会把监听套接字与客户端设为非阻塞,并处理以下问题:

  • accept 一次可能无法取完积压连接,非阻塞模式下应循环接收直到返回 EAGAIN
  • recv 和 send 都可能只完成部分数据,写侧需要输出缓冲区和可写事件管理
  • 使用 EPOLLET 时必须持续读写直到 EAGAIN,否则可能留下数据却等不到新的边沿通知
  • 多线程共享连接时,要设计事件归属、关闭时序,并视需要使用 EPOLLONESHOT

因此,先用默认 LT 模式把“兴趣集合由 epoll_ctl 长期维护、epoll_wait 只交付就绪事件”这条主线跑通,再引入非阻塞、边沿触发和缓冲区状态机,能更稳妥地构建真正高并发的 Linux 网络服务。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

用 epoll 管理大量活跃连接

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通