Python / 系统课时
run_in_executor 应该何时用
run_in_executor 应该何时用
异步服务并不意味着所有依赖都提供 async API。遇到同步 SDK、阻塞文件操作或必须保留的旧函数时,直接调用会冻结事件循环;本节用 run_in_executor 把阻塞工作移出循环线程,并明确线程池和进程池各自适合什么任务。
学习目标
- 判断一个同步函数是否应该通过
run_in_executor隔离。 - 根据 I/O 阻塞和 CPU 密集特征选择线程池或进程池。
- 理解取消、共享状态和并发容量这些实际边界。
为什么直接调用会拖住整个循环
事件循环靠协作式让出执行权运行多个协程。同步函数一旦长时间不返回,循环就无法处理 socket 就绪、定时器和其他 Task;即使只有一个函数阻塞 200 ms,同一线程上的其他异步请求也会一起等待。
run_in_executor 的作用不是把同步函数变成真正的异步实现,而是把函数提交给事件循环之外的执行器,再把完成结果包装成可 await 的 Future。这样事件循环线程可以继续处理网络事件。

线程池还是进程池
| 工作特征 | 优先选择 | 主要原因 |
|---|---|---|
| 同步 HTTP SDK、阻塞文件访问、传统数据库驱动 | 线程池 | 大部分时间在等待外部 I/O,线程切换成本通常较低 |
| 纯 Python 大量计算 | 进程池 | 可让计算在不同进程执行,避免单个解释器线程长期占用 CPU |
| 会主动释放 GIL 的原生扩展计算 | 先基准测试 | 某些场景线程池已经能并行,不必承担进程通信成本 |
调用 loop.run_in_executor(None, func, *args) 时,None 表示使用事件循环的默认线程池。需要进程池时,应显式创建 ProcessPoolExecutor;传入进程池的函数和参数还要满足进程间传递要求,因此不要把不可序列化的连接对象或局部闭包直接传进去。
同时卸载 I/O 和 CPU 工作
下面的程序用 time.sleep 模拟一个无法修改的同步 SDK,并把它交给默认线程池;另一段纯 Python 计算交给单独的进程池。主协程只等待 Future,不直接执行这两段阻塞工作。
import asyncio
import time
from concurrent.futures import ProcessPoolExecutor
def blocking_io(name: str) -> str:
# 模拟只能同步调用的旧 SDK 或阻塞 I/O。
time.sleep(0.2)
return f"{name}: done"
def cpu_bound(limit: int) -> int:
# 纯 Python CPU 密集计算更适合交给进程池。
return sum(i * i for i in range(limit))
async def main() -> None:
loop = asyncio.get_running_loop()
io_future = loop.run_in_executor(None, blocking_io, "sync-sdk")
with ProcessPoolExecutor(max_workers=1) as pool:
cpu_future = loop.run_in_executor(pool, cpu_bound, 200_000)
io_result, cpu_result = await asyncio.gather(io_future, cpu_future)
print(io_result)
print(cpu_result)
if __name__ == "__main__":
asyncio.run(main())预期输出
sync-sdk: done
2666646666700000在 Windows 上使用进程池时,保留 if __name__ == "__main__": 入口保护尤其重要。真实服务中也不要为每个请求临时创建进程池,通常应复用受控数量的 worker,避免进程创建成本反而成为瓶颈。
容易忽略的边界
run_in_executor 适合隔离无法立即异步化的阻塞函数,但不应成为所有同步代码的默认包装层。若依赖本身已有可靠的异步 API,直接使用异步实现通常更节省线程和上下文切换。
线程池也不会自动解决纯 Python CPU 密集计算的 GIL 竞争;大量慢调用还可能耗尽 worker,使请求改为在线程池队列中等待。对于只需要默认线程池的简单阻塞调用,较新的 Python 还可以考虑 asyncio.to_thread;需要显式选择执行器、复用进程池或统一管理资源时,run_in_executor 更直接。