Python / 系统课时

run_in_executor 应该何时用

run_in_executor 应该何时用

异步服务并不意味着所有依赖都提供 async API。遇到同步 SDK、阻塞文件操作或必须保留的旧函数时,直接调用会冻结事件循环;本节用 run_in_executor 把阻塞工作移出循环线程,并明确线程池和进程池各自适合什么任务。

学习目标

  • 判断一个同步函数是否应该通过 run_in_executor 隔离。
  • 根据 I/O 阻塞和 CPU 密集特征选择线程池或进程池。
  • 理解取消、共享状态和并发容量这些实际边界。

为什么直接调用会拖住整个循环

事件循环靠协作式让出执行权运行多个协程。同步函数一旦长时间不返回,循环就无法处理 socket 就绪、定时器和其他 Task;即使只有一个函数阻塞 200 ms,同一线程上的其他异步请求也会一起等待。

run_in_executor 的作用不是把同步函数变成真正的异步实现,而是把函数提交给事件循环之外的执行器,再把完成结果包装成可 await 的 Future。这样事件循环线程可以继续处理网络事件。

run_in_executor 的卸载关系

线程池还是进程池

工作特征 优先选择 主要原因
同步 HTTP SDK、阻塞文件访问、传统数据库驱动 线程池 大部分时间在等待外部 I/O,线程切换成本通常较低
纯 Python 大量计算 进程池 可让计算在不同进程执行,避免单个解释器线程长期占用 CPU
会主动释放 GIL 的原生扩展计算 先基准测试 某些场景线程池已经能并行,不必承担进程通信成本

调用 loop.run_in_executor(None, func, *args) 时,None 表示使用事件循环的默认线程池。需要进程池时,应显式创建 ProcessPoolExecutor;传入进程池的函数和参数还要满足进程间传递要求,因此不要把不可序列化的连接对象或局部闭包直接传进去。

同时卸载 I/O 和 CPU 工作

下面的程序用 time.sleep 模拟一个无法修改的同步 SDK,并把它交给默认线程池;另一段纯 Python 计算交给单独的进程池。主协程只等待 Future,不直接执行这两段阻塞工作。

python
import asyncio
import time
from concurrent.futures import ProcessPoolExecutor


def blocking_io(name: str) -> str:
    # 模拟只能同步调用的旧 SDK 或阻塞 I/O。
    time.sleep(0.2)
    return f"{name}: done"


def cpu_bound(limit: int) -> int:
    # 纯 Python CPU 密集计算更适合交给进程池。
    return sum(i * i for i in range(limit))


async def main() -> None:
    loop = asyncio.get_running_loop()

    io_future = loop.run_in_executor(None, blocking_io, "sync-sdk")

    with ProcessPoolExecutor(max_workers=1) as pool:
        cpu_future = loop.run_in_executor(pool, cpu_bound, 200_000)
        io_result, cpu_result = await asyncio.gather(io_future, cpu_future)

    print(io_result)
    print(cpu_result)


if __name__ == "__main__":
    asyncio.run(main())

预期输出

text
sync-sdk: done
2666646666700000

在 Windows 上使用进程池时,保留 if __name__ == "__main__": 入口保护尤其重要。真实服务中也不要为每个请求临时创建进程池,通常应复用受控数量的 worker,避免进程创建成本反而成为瓶颈。

容易忽略的边界

run_in_executor 适合隔离无法立即异步化的阻塞函数,但不应成为所有同步代码的默认包装层。若依赖本身已有可靠的异步 API,直接使用异步实现通常更节省线程和上下文切换。

线程池也不会自动解决纯 Python CPU 密集计算的 GIL 竞争;大量慢调用还可能耗尽 worker,使请求改为在线程池队列中等待。对于只需要默认线程池的简单阻塞调用,较新的 Python 还可以考虑 asyncio.to_thread;需要显式选择执行器、复用进程池或统一管理资源时,run_in_executor 更直接。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

run_in_executor 应该何时用

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通