计算机网络 / 系统课时

先设计服务的连接和事件拓扑

先设计服务的连接和事件拓扑

高性能网络服务先要解决“谁拥有连接、谁处理事件、谁执行耗时业务”这三个问题。拓扑设计清楚后,线程之间的共享状态、队列方向、背压边界和故障回收才有确定落点,也更容易用指标验证。

学习目标

  • 设计监听器、I/O 线程、业务线程、连接对象和任务队列的职责边界
  • 用单线程拥有连接的方式减少锁竞争和跨线程状态修改
  • 在拓扑阶段预先确定背压、超时和容量指标的落点

从负载约束反推拓扑

不要先决定“开几个线程”,而要先写出连接规模、单连接消息速率、业务处理是否阻塞以及目标延迟。一个常用起点是:1 个接入线程负责 accept,N 个 I/O Reactor 负责 epoll_wait、收发和连接状态,M 个业务线程只处理不应阻塞 I/O 循环的任务。

每条连接只归属一个 I/O 线程。业务线程不直接调用该连接的 recv、send 或 epoll_ctl,而是通过有界任务队列接收工作,再把结果投递回原 I/O 线程。这样连接状态和缓冲区不需要在多个线程间同时加锁。

连接与事件拓扑

把所有权和队列方向写清

连接对象至少要保存文件描述符、输入/输出缓冲区、最近活动时间、读写兴趣和关闭状态。接入线程接受新连接后,只把文件描述符投递到目标 Reactor 的“新连接队列”;目标 Reactor 自己执行 epoll_ctl(ADD),随后负责该连接直到关闭。

业务任务队列和结果队列都应有容量上限。跨线程投递后,如果目标 Reactor 可能正阻塞在 epoll_wait,可以配合 eventfd 唤醒;不要让工作线程直接修改 Reactor 的连接表。下面的配置不是生产默认值,而是一份可以进入评审和压测的拓扑草案。

json
{
  "acceptorThreads": 1,
  "ioThreads": 4,
  "businessThreads": 8,
  "newConnectionQueueCapacity": 4096,
  "businessQueueCapacity": 8192,
  "resultQueueCapacity": 8192,
  "connectionOwnership": "single-io-thread"
}

把内容保存为 topology.json 后,可先做最基本的结构校验。

bash
python3 -m json.tool topology.json >/dev/null && echo "topology.json OK"

预期输出

text
topology.json OK

这一步只验证 JSON 合法;线程数和队列容量是否合适,必须由后续压测数据决定。

把背压和超时放进拓扑

背压不能等到编码时再临时补。业务队列满时,I/O 线程要有明确策略,例如暂停继续读取、快速失败或按协议返回过载;单连接待发送字节超过高水位时,应暂时取消该连接的 EPOLLIN,降到低水位后再恢复,避免慢客户端把进程内存拖垮。

超时和回收也应由连接所有者执行。I/O Reactor 维护空闲时间,超时后完成 epoll_ctl(DEL)、关闭文件描述符并释放缓冲区;如果业务结果晚于连接关闭返回,还需要用连接 ID 或代次号识别陈旧结果,防止把结果写到已经复用的文件描述符上。

用指标证明拓扑没有隐藏瓶颈

压测时至少同时观察当前连接数、每轮 epoll_wait 返回事件数、I/O 循环延迟、各队列深度与丢弃次数、单连接待发送字节以及业务处理延迟。只看总 QPS 很容易把队列堆积误判成“吞吐正常”。

可以固定请求模型,分别用 1、2、4 个 I/O Reactor 做基线,比较吞吐、P99 延迟、CPU 利用率和队列峰值。线程增加后吞吐不升、循环延迟反而变差,通常说明瓶颈已经转移到共享队列、业务线程、内存分配或网卡,而不是继续增加 I/O 线程就能解决。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

先设计服务的连接和事件拓扑

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通