计算机网络 / 系统课时

Reactor加线程池怎么配合

Reactor加线程池怎么配合

Reactor 加线程池的目标不是“多开几个线程”本身,而是让 I/O 线程始终快速处理连接状态,把耗时业务交给工作线程。真正容易出错的是任务投递、结果回写和跨线程唤醒。本节建立一条可落地的协作链路,并明确连接所有权。

学习目标

  • 设计 I/O 线程到业务线程池的任务投递路径
  • 用结果队列和唤醒 fd 把工作线程结果安全交回 Reactor
  • 避免工作线程直接操作连接状态造成竞态和乱序

推荐的协作链路

常见做法是让 Reactor 独占连接对象和 socket:I/O 线程完成读事件、协议拆包和轻量校验后,只把“业务任务”投递到线程池;工作线程完成计算后,把结果放入线程安全队列,再通过 eventfd、管道或 socketpair 唤醒 Reactor。

Reactor 被唤醒后再统一取结果、检查连接是否仍有效、更新发送缓冲区并执行写操作。这样连接状态只有一个线程修改,业务线程不需要和 I/O 线程争用同一套连接对象。

Reactor 与线程池协作和跨线程唤醒

用 socketpair 演示跨线程唤醒

下面示例用一个 socketpair 模拟客户端连接,另一个 socketpair 作为唤醒 fd。工作线程只计算并入队结果,不直接写客户端;完成回写的是 Reactor 线程。

python
import queue
import selectors
import socket
import time
from concurrent.futures import ThreadPoolExecutor

selector = selectors.DefaultSelector()
result_queue = queue.Queue()
pool = ThreadPoolExecutor(max_workers=2)

io_sock, client_sock = socket.socketpair()
wake_read, wake_write = socket.socketpair()
io_sock.setblocking(False)
wake_read.setblocking(False)

selector.register(io_sock, selectors.EVENT_READ, data="client")
selector.register(wake_read, selectors.EVENT_READ, data="wakeup")

def business(task: str) -> str:
    # 用短暂睡眠模拟不应占用 I/O 线程的阻塞型业务调用。
    time.sleep(0.05)
    return task.lower() * 3

def on_done(task: str, future) -> None:
    result_queue.put((task, future.result()))
    wake_write.send(b"x")  # 只发送唤醒信号,不碰连接状态。

client_sock.sendall(b"A\nB\n")
written = 0

while written < 2:
    for key, _ in selector.select():
        if key.data == "client":
            for raw in io_sock.recv(1024).splitlines():
                task = raw.decode()
                print("reactor: dispatch", task)
                future = pool.submit(business, task)
                future.add_done_callback(
                    lambda f, t=task: on_done(t, f)
                )
        else:
            wake_read.recv(1024)
            while not result_queue.empty():
                task, result = result_queue.get_nowait()
                io_sock.sendall(f"{task}:{result}\n".encode())
                print("reactor: write back", task, result)
                written += 1

print(client_sock.recv(1024).decode().strip())

selector.close()
pool.shutdown()
io_sock.close()
client_sock.close()
wake_read.close()
wake_write.close()

预期输出

text
reactor: dispatch A
reactor: dispatch B
reactor: write back <ID> <RESULT>
reactor: write back <ID> <RESULT>
<ID>:<RESULT>
<ID>:<RESULT>

这里 <ID> 实际为 A 或 B,对应结果分别是 aaa 与 bbb;线程调度可能让两项完成顺序不同。关键现象是业务在线程池执行,而结果仍由 Reactor 线程回写连接。

为什么要唤醒 Reactor

如果工作线程只是把结果放进队列,却不通知 Reactor,I/O 线程可能正阻塞在 epoll_wait,直到下一个网络事件或超时才发现结果,额外增加响应延迟。唤醒 fd 把“业务结果已就绪”也变成一个可被事件循环监听的事件。

Linux 上常用 eventfd,也可以用管道或 socketpair。无论选哪种机制,都应把唤醒信号当成通知而不是业务数据:真实结果放在线程安全队列中,Reactor 醒来后批量读取,避免每个结果都携带复杂跨线程状态。

连接所有权和边界

线程池方案最重要的约束是:工作线程不要直接修改 Reactor 管理的连接状态。连接可能在业务执行期间超时、关闭或复用,如果工作线程持有裸指针并直接写 socket,很容易造成竞态、写入已关闭连接或破坏响应顺序。

更稳妥的任务对象应携带不可变业务参数和一个可验证的连接标识;结果回到 Reactor 后,再由 I/O 线程确认连接仍存在、请求仍匹配当前上下文,然后决定写回、丢弃或记录超时。

当这条“读事件 → 投递 → 线程池执行 → 结果入队 → 唤醒 → Reactor 回写”的链路建立后,I/O 线程就能维持短而稳定的循环,同时把不可预测的业务耗时隔离在工作线程中。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

Reactor加线程池怎么配合

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通