Python / 系统课时

Semaphore 怎么限制并发请求

Semaphore 怎么限制并发请求

当协程可以一次创建成百上千个请求时,真正危险的往往不是 Python 本身,而是数据库、HTTP 服务或其他下游先被压垮。本节用 asyncio.Semaphore 给高成本操作设置并发上限,并通过可运行示例验证限制确实生效。

学习目标

  • 理解 Semaphore 如何用固定数量的许可控制同时进入临界区的协程数
  • 使用 async with 为下游调用设置并发上限,并验证最大并发数
  • 区分并发限制、请求速率限制以及任务总量限制

为什么要限制同时执行的请求

asyncio 允许大量协程同时等待 I/O,但“能并发”不等于“下游能承受”。例如一次性启动 500 个数据库查询,即使本地事件循环很轻松,也可能耗尽数据库连接池或触发远程接口限流。

Semaphore 可以理解为一组数量固定的“通行证”。协程进入受保护区域前取得一个许可,离开时归还;许可全部被占用后,新的协程会异步等待,而不是阻塞整个事件循环。

Semaphore 控制下游并发的许可流转

Semaphore 的工作方式

创建 asyncio.Semaphore(2) 表示最多允许两个协程同时持有许可。最安全的写法是 async with semaphore:进入代码块时自动执行获取许可,退出时自动释放,即使任务抛出异常,也不容易因为漏掉 release() 造成永久阻塞。

Semaphore 限制的是受保护代码段中的同时执行数量。如果先创建一百万个 Task,再让它们竞争一个 Semaphore,Task 本身仍然已经全部创建。因此,当任务来源无限或速度很快时,还需要配合有界 Queue 等机制控制待处理任务数量。

用代码验证最大并发数

下面创建 5 个模拟下游请求,但 Semaphore 只允许其中 2 个同时处于执行区。active 记录当前活动数,max_active 记录整个运行过程观察到的峰值。

python
import asyncio

active = 0
max_active = 0
counter_lock = asyncio.Lock()


async def call_downstream(name: str, semaphore: asyncio.Semaphore) -> str:
    global active, max_active

    async with semaphore:
        # 计数器只用于实验观测,不属于 Semaphore 的必要组成部分。
        async with counter_lock:
            active += 1
            max_active = max(max_active, active)

        await asyncio.sleep(0.05)

        async with counter_lock:
            active -= 1

        return f"{name}:ok"


async def main() -> None:
    semaphore = asyncio.Semaphore(2)
    tasks = [
        call_downstream(f"req-{i}", semaphore)
        for i in range(5)
    ]

    results = await asyncio.gather(*tasks)
    print(f"max_active={max_active}")
    print(f"completed={len(results)}")
    print(f"all_ok={all(item.endswith(':ok') for item in results)}")


asyncio.run(main())

预期输出

text
max_active=2
completed=5
all_ok=True

输出中的 max_active=2 直接证明:即使 5 个协程都已提交,受保护区域内同时运行的协程也没有超过两个。

并发限制不等于速率限制

Semaphore 回答的是“同一时刻最多允许多少个操作进行”。如果每个请求只耗时 1 毫秒,即使并发上限为 10,一秒仍可能完成大量请求。因此它不能替代“每秒最多 100 次”这类基于时间窗口的速率限制。

选择并发值时,应根据真正稀缺的资源确定,例如 HTTP 连接池容量、数据库最大连接数或 CPU 密集步骤可接受的并行度。通常先采用保守值,再结合延迟、错误率和下游负载逐步调整,而不是把数字简单设得越大越好。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

Semaphore 怎么限制并发请求

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通