计算机网络 / 系统课时
多Reactor如何分摊连接
多Reactor如何分摊连接
当单个事件循环已经能正确处理连接后,下一步就是把连接稳定地分给多个 Reactor。本篇聚焦三件事:谁负责 accept、新 fd 交给哪个 EventLoop,以及 fd 一旦归属某个线程后为什么不应被多个线程同时操作。
学习目标
- 区分主从 Reactor 与多 EventLoop 两种组织方式
- 理解新连接分配、跨线程投递与 fd 所属线程的约束
- 能根据轮询、最少连接数等策略选择合适的负载均衡方法
两种常见组织方式
主从 Reactor 最容易理解:主 Reactor 只监听监听套接字并执行 accept,每得到一个新连接,就挑选一个子 Reactor;子 Reactor 持有自己的 epoll、任务队列和线程,之后该连接的读写事件都在这个线程内处理。
另一种是多个 EventLoop 对等运行。常见实现仍会保留一个专门接收连接的 Acceptor,再把连接分派给某个 EventLoop;也可以让多个监听线程借助 SO_REUSEPORT 各自接受连接。前者便于集中控制,后者减少单点 accept 压力,但连接分布更多依赖内核哈希。

两种结构的共同点不是“有几个 Reactor”,而是每个连接最终只能有一个事件循环负责。只要这个所有权清晰,锁的范围就能缩小;如果多个线程都可能对同一 fd 执行读写、关闭或修改兴趣事件,就会出现竞态。
新连接如何交给目标EventLoop
典型流程是:
- Acceptor 在线程 A 中完成
accept4,得到新 fd。 - Dispatcher 根据策略选出 EventLoop B。
- 线程 A 把“添加连接”任务放入 B 的线程安全队列。
- 通过
eventfd、管道或现有唤醒机制通知 B。 - B 在自己的线程里执行
epoll_ctl(EPOLL_CTL_ADD),从此负责该 fd 的读写、超时和关闭。
关键点在第 5 步。accept 可以发生在线程 A,但真正把 fd 纳入事件循环,最好由目标 EventLoop 自己完成。这样后续所有连接状态都遵循“owner thread only”的规则,业务处理无需到处加锁。
负载均衡策略怎么选
轮询最简单:第 1 个连接给 Loop 0,第 2 个给 Loop 1,依次循环。它几乎没有统计成本,适合连接处理成本比较接近的长连接服务。
最少连接数会优先选择当前连接数较少的 EventLoop。它能缓解连接生命周期差异造成的不均衡,但“连接数少”不一定等于“负载低”。如果部分连接会长期占用 CPU,进一步可以使用队列长度、最近一段时间的事件处理耗时或业务权重做指标。
| 策略 | 优点 | 主要限制 | 适合场景 |
|---|---|---|---|
| 轮询 | 成本低、行为稳定 | 不感知连接长短与任务重量 | 连接成本相近 |
| 最少连接 | 能修正长短连接差异 | 需要维护计数 | 长连接寿命差异明显 |
| 负载指标 | 更接近真实压力 | 指标采集与抖动更复杂 | CPU/业务耗时差异大 |
用一个小程序验证fd唯一归属
下面的 C++17 示例把若干“新 fd”按最少连接数分给 3 个 EventLoop,并检查每个 fd 是否只出现一次。它不模拟真实 epoll_wait,但可以验证分配策略与所有权不变量。
#include <algorithm>
#include <iostream>
#include <unordered_map>
#include <vector>
struct EventLoop {
int id;
std::vector<int> fds;
};
int main() {
std::vector<EventLoop> loops = {{0, {}}, {1, {}}, {2, {}}};
std::vector<int> new_fds = {101, 102, 103, 104, 105, 106, 107};
for (int fd : new_fds) {
auto it = std::min_element(
loops.begin(), loops.end(),
[](const EventLoop& a, const EventLoop& b) {
if (a.fds.size() != b.fds.size()) {
return a.fds.size() < b.fds.size();
}
return a.id < b.id;
}
);
it->fds.push_back(fd);
std::cout << "fd " << fd << " -> loop " << it->id << '\n';
}
// 检查一个 fd 只能属于一个 EventLoop。
std::unordered_map<int, int> owner_count;
for (const auto& loop : loops) {
for (int fd : loop.fds) {
++owner_count[fd];
}
}
bool valid = true;
for (const auto& [fd, count] : owner_count) {
if (count != 1) {
valid = false;
std::cerr << "invalid owner count for fd " << fd << '\n';
}
}
std::cout << "ownership: " << (valid ? "OK" : "BROKEN") << '\n';
return valid ? 0 : 1;
}可用 Linux 上的 g++ 编译并运行:
g++ -std=c++17 -O2 reactor_assign.cpp -o reactor_assign
./reactor_assign预期输出:
fd 101 -> loop 0
fd 102 -> loop 1
fd 103 -> loop 2
fd 104 -> loop 0
fd 105 -> loop 1
fd 106 -> loop 2
fd 107 -> loop 0
ownership: OK这个结果说明“选择哪个 Loop”和“后续由谁操作 fd”是两个相连但不同的问题:Dispatcher 只负责做一次选择,真正的连接生命周期应由目标 EventLoop 持续负责。
什么时候需要重新分配
大多数网络库不会频繁迁移活跃连接,因为迁移意味着同时搬动 fd 注册、输入输出缓冲区、超时状态和业务上下文,复杂度远高于新连接时做均衡。更常见的做法是只对新连接调整分配策略,让旧连接自然结束。
如果某个 EventLoop 长期过载,应先检查是否存在阻塞业务、单连接重任务或队列积压。只有确认负载确实来自连接分布,才值得引入更复杂的指标。多 Reactor 的目标不是“线程越多越快”,而是让每个连接拥有明确线程归属,并让新连接以可预测方式落到合适的事件循环中。