计算机网络 / 系统课时
Reactor加线程池怎么配合
Reactor加线程池怎么配合
Reactor 加线程池的目标不是“多开几个线程”本身,而是让 I/O 线程始终快速处理连接状态,把耗时业务交给工作线程。真正容易出错的是任务投递、结果回写和跨线程唤醒。本节建立一条可落地的协作链路,并明确连接所有权。
学习目标
- 设计 I/O 线程到业务线程池的任务投递路径
- 用结果队列和唤醒 fd 把工作线程结果安全交回 Reactor
- 避免工作线程直接操作连接状态造成竞态和乱序
推荐的协作链路
常见做法是让 Reactor 独占连接对象和 socket:I/O 线程完成读事件、协议拆包和轻量校验后,只把“业务任务”投递到线程池;工作线程完成计算后,把结果放入线程安全队列,再通过 eventfd、管道或 socketpair 唤醒 Reactor。
Reactor 被唤醒后再统一取结果、检查连接是否仍有效、更新发送缓冲区并执行写操作。这样连接状态只有一个线程修改,业务线程不需要和 I/O 线程争用同一套连接对象。

用 socketpair 演示跨线程唤醒
下面示例用一个 socketpair 模拟客户端连接,另一个 socketpair 作为唤醒 fd。工作线程只计算并入队结果,不直接写客户端;完成回写的是 Reactor 线程。
import queue
import selectors
import socket
import time
from concurrent.futures import ThreadPoolExecutor
selector = selectors.DefaultSelector()
result_queue = queue.Queue()
pool = ThreadPoolExecutor(max_workers=2)
io_sock, client_sock = socket.socketpair()
wake_read, wake_write = socket.socketpair()
io_sock.setblocking(False)
wake_read.setblocking(False)
selector.register(io_sock, selectors.EVENT_READ, data="client")
selector.register(wake_read, selectors.EVENT_READ, data="wakeup")
def business(task: str) -> str:
# 用短暂睡眠模拟不应占用 I/O 线程的阻塞型业务调用。
time.sleep(0.05)
return task.lower() * 3
def on_done(task: str, future) -> None:
result_queue.put((task, future.result()))
wake_write.send(b"x") # 只发送唤醒信号,不碰连接状态。
client_sock.sendall(b"A\nB\n")
written = 0
while written < 2:
for key, _ in selector.select():
if key.data == "client":
for raw in io_sock.recv(1024).splitlines():
task = raw.decode()
print("reactor: dispatch", task)
future = pool.submit(business, task)
future.add_done_callback(
lambda f, t=task: on_done(t, f)
)
else:
wake_read.recv(1024)
while not result_queue.empty():
task, result = result_queue.get_nowait()
io_sock.sendall(f"{task}:{result}\n".encode())
print("reactor: write back", task, result)
written += 1
print(client_sock.recv(1024).decode().strip())
selector.close()
pool.shutdown()
io_sock.close()
client_sock.close()
wake_read.close()
wake_write.close()预期输出
reactor: dispatch A
reactor: dispatch B
reactor: write back <ID> <RESULT>
reactor: write back <ID> <RESULT>
<ID>:<RESULT>
<ID>:<RESULT>这里 <ID> 实际为 A 或 B,对应结果分别是 aaa 与 bbb;线程调度可能让两项完成顺序不同。关键现象是业务在线程池执行,而结果仍由 Reactor 线程回写连接。
为什么要唤醒 Reactor
如果工作线程只是把结果放进队列,却不通知 Reactor,I/O 线程可能正阻塞在 epoll_wait,直到下一个网络事件或超时才发现结果,额外增加响应延迟。唤醒 fd 把“业务结果已就绪”也变成一个可被事件循环监听的事件。
Linux 上常用 eventfd,也可以用管道或 socketpair。无论选哪种机制,都应把唤醒信号当成通知而不是业务数据:真实结果放在线程安全队列中,Reactor 醒来后批量读取,避免每个结果都携带复杂跨线程状态。
连接所有权和边界
线程池方案最重要的约束是:工作线程不要直接修改 Reactor 管理的连接状态。连接可能在业务执行期间超时、关闭或复用,如果工作线程持有裸指针并直接写 socket,很容易造成竞态、写入已关闭连接或破坏响应顺序。
更稳妥的任务对象应携带不可变业务参数和一个可验证的连接标识;结果回到 Reactor 后,再由 I/O 线程确认连接仍存在、请求仍匹配当前上下文,然后决定写回、丢弃或记录超时。
当这条“读事件 → 投递 → 线程池执行 → 结果入队 → 唤醒 → Reactor 回写”的链路建立后,I/O 线程就能维持短而稳定的循环,同时把不可预测的业务耗时隔离在工作线程中。