计算机网络 / 系统课时

多Reactor如何分摊连接

多Reactor如何分摊连接

当单个事件循环已经能正确处理连接后,下一步就是把连接稳定地分给多个 Reactor。本篇聚焦三件事:谁负责 accept、新 fd 交给哪个 EventLoop,以及 fd 一旦归属某个线程后为什么不应被多个线程同时操作。

学习目标

  • 区分主从 Reactor 与多 EventLoop 两种组织方式
  • 理解新连接分配、跨线程投递与 fd 所属线程的约束
  • 能根据轮询、最少连接数等策略选择合适的负载均衡方法

两种常见组织方式

主从 Reactor 最容易理解:主 Reactor 只监听监听套接字并执行 accept,每得到一个新连接,就挑选一个子 Reactor;子 Reactor 持有自己的 epoll、任务队列和线程,之后该连接的读写事件都在这个线程内处理。

另一种是多个 EventLoop 对等运行。常见实现仍会保留一个专门接收连接的 Acceptor,再把连接分派给某个 EventLoop;也可以让多个监听线程借助 SO_REUSEPORT 各自接受连接。前者便于集中控制,后者减少单点 accept 压力,但连接分布更多依赖内核哈希。

主Reactor向多个子EventLoop分派新连接

两种结构的共同点不是“有几个 Reactor”,而是每个连接最终只能有一个事件循环负责。只要这个所有权清晰,锁的范围就能缩小;如果多个线程都可能对同一 fd 执行读写、关闭或修改兴趣事件,就会出现竞态。

新连接如何交给目标EventLoop

典型流程是:

  1. Acceptor 在线程 A 中完成 accept4,得到新 fd。
  2. Dispatcher 根据策略选出 EventLoop B。
  3. 线程 A 把“添加连接”任务放入 B 的线程安全队列。
  4. 通过 eventfd、管道或现有唤醒机制通知 B。
  5. B 在自己的线程里执行 epoll_ctl(EPOLL_CTL_ADD),从此负责该 fd 的读写、超时和关闭。

关键点在第 5 步。accept 可以发生在线程 A,但真正把 fd 纳入事件循环,最好由目标 EventLoop 自己完成。这样后续所有连接状态都遵循“owner thread only”的规则,业务处理无需到处加锁。

负载均衡策略怎么选

轮询最简单:第 1 个连接给 Loop 0,第 2 个给 Loop 1,依次循环。它几乎没有统计成本,适合连接处理成本比较接近的长连接服务。

最少连接数会优先选择当前连接数较少的 EventLoop。它能缓解连接生命周期差异造成的不均衡,但“连接数少”不一定等于“负载低”。如果部分连接会长期占用 CPU,进一步可以使用队列长度、最近一段时间的事件处理耗时或业务权重做指标。

策略 优点 主要限制 适合场景
轮询 成本低、行为稳定 不感知连接长短与任务重量 连接成本相近
最少连接 能修正长短连接差异 需要维护计数 长连接寿命差异明显
负载指标 更接近真实压力 指标采集与抖动更复杂 CPU/业务耗时差异大

用一个小程序验证fd唯一归属

下面的 C++17 示例把若干“新 fd”按最少连接数分给 3 个 EventLoop,并检查每个 fd 是否只出现一次。它不模拟真实 epoll_wait,但可以验证分配策略与所有权不变量。

cpp
#include <algorithm>
#include <iostream>
#include <unordered_map>
#include <vector>

struct EventLoop {
    int id;
    std::vector<int> fds;
};

int main() {
    std::vector<EventLoop> loops = {{0, {}}, {1, {}}, {2, {}}};
    std::vector<int> new_fds = {101, 102, 103, 104, 105, 106, 107};

    for (int fd : new_fds) {
        auto it = std::min_element(
            loops.begin(), loops.end(),
            [](const EventLoop& a, const EventLoop& b) {
                if (a.fds.size() != b.fds.size()) {
                    return a.fds.size() < b.fds.size();
                }
                return a.id < b.id;
            }
        );

        it->fds.push_back(fd);
        std::cout << "fd " << fd << " -> loop " << it->id << '\n';
    }

    // 检查一个 fd 只能属于一个 EventLoop。
    std::unordered_map<int, int> owner_count;
    for (const auto& loop : loops) {
        for (int fd : loop.fds) {
            ++owner_count[fd];
        }
    }

    bool valid = true;
    for (const auto& [fd, count] : owner_count) {
        if (count != 1) {
            valid = false;
            std::cerr << "invalid owner count for fd " << fd << '\n';
        }
    }

    std::cout << "ownership: " << (valid ? "OK" : "BROKEN") << '\n';
    return valid ? 0 : 1;
}

可用 Linux 上的 g++ 编译并运行:

bash
g++ -std=c++17 -O2 reactor_assign.cpp -o reactor_assign
./reactor_assign

预期输出:

text
fd 101 -> loop 0
fd 102 -> loop 1
fd 103 -> loop 2
fd 104 -> loop 0
fd 105 -> loop 1
fd 106 -> loop 2
fd 107 -> loop 0
ownership: OK

这个结果说明“选择哪个 Loop”和“后续由谁操作 fd”是两个相连但不同的问题:Dispatcher 只负责做一次选择,真正的连接生命周期应由目标 EventLoop 持续负责。

什么时候需要重新分配

大多数网络库不会频繁迁移活跃连接,因为迁移意味着同时搬动 fd 注册、输入输出缓冲区、超时状态和业务上下文,复杂度远高于新连接时做均衡。更常见的做法是只对新连接调整分配策略,让旧连接自然结束。

如果某个 EventLoop 长期过载,应先检查是否存在阻塞业务、单连接重任务或队列积压。只有确认负载确实来自连接分布,才值得引入更复杂的指标。多 Reactor 的目标不是“线程越多越快”,而是让每个连接拥有明确线程归属,并让新连接以可预测方式落到合适的事件循环中。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

多Reactor如何分摊连接

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通