Python / 系统课时

Queue 怎样连接生产与消费

Queue 怎样连接生产与消费

异步服务常同时面对“数据不断到达”和“处理速度有限”两个事实。直接为每条数据创建 Task 会让待处理工作无限增长。本节用 asyncio.Queue 把生产者与消费者解耦,并利用有界队列形成可观察、可控制的异步工作流水线。

学习目标

  • 理解 asyncio.Queue 如何连接生产阶段与消费阶段
  • 使用 maxsize、put()、get()、task_done() 和 join() 实现完整工作队列
  • 正确处理多个消费者的退出信号,并避免 join() 永久等待

Queue 在流水线中的位置

生产者负责把任务放入队列,消费者负责从队列取出并处理。双方不需要保持相同速度:短暂的生产高峰可以先积存在队列里,而消费者按自身能力逐项消化。

当设置 maxsize 后,队列满时 await queue.put(item) 会暂停当前生产者,直到消费者腾出空间。这种反向传递压力的机制就是背压,它能阻止应用只顾接收数据而无限占用内存。

asyncio Queue 连接生产者与消费者的数据流

一次任务的完整生命周期

生产者通过 await queue.put(item) 放入任务。消费者通过 await queue.get() 取得任务后负责处理,并且必须为每一次成功的 get() 调用一次 queue.task_done()。

Queue 内部维护“尚未确认完成”的任务计数。每次 put() 会增加计数,每次 task_done() 会减少计数,而 await queue.join() 会一直等待这个计数归零。因此,join() 表示“已经放入队列的任务全部处理完成”,并不等同于“消费者协程已经退出”。

建立两个消费者的工作队列

下面的生产者写入 5 个整数,两个消费者计算平方。队列容量只有 2,因此当消费者来不及取数据时,生产者会在 put() 处自然等待。最后再为每个消费者放入一个 None 作为退出信号。

python
import asyncio


async def producer(queue: asyncio.Queue[int | None]) -> None:
    for value in range(5):
        await queue.put(value)

    # 每个消费者都需要收到一个独立的退出信号。
    for _ in range(2):
        await queue.put(None)


async def worker(
    name: str,
    queue: asyncio.Queue[int | None],
    results: list[tuple[int, int]],
) -> None:
    while True:
        item = await queue.get()
        try:
            if item is None:
                return

            await asyncio.sleep(0.02)
            results.append((item, item * item))
        finally:
            # 每次 get 都必须对应一次 task_done,包括退出信号。
            queue.task_done()


async def main() -> None:
    queue: asyncio.Queue[int | None] = asyncio.Queue(maxsize=2)
    results: list[tuple[int, int]] = []

    workers = [
        asyncio.create_task(worker("worker-a", queue, results)),
        asyncio.create_task(worker("worker-b", queue, results)),
    ]

    await producer(queue)
    await queue.join()
    await asyncio.gather(*workers)

    print(sorted(results))
    print(f"remaining={queue.qsize()}")


asyncio.run(main())

预期输出

text
[(0, 0), (1, 1), (2, 4), (3, 9), (4, 16)]
remaining=0

两个消费者实际完成任务的先后顺序可能不同,因此示例在打印前使用 sorted(),让验证结果保持稳定。队列最终大小为 0,说明普通任务和退出信号都已被取走。

背压与退出最容易写错的地方

无界的 asyncio.Queue() 只完成解耦,并不能阻止生产速度长期高于消费速度;如果数据源持续不断,队列仍可能无限增长。对网络接收、批量抓取和日志处理等场景,通常应根据可接受的内存占用设置合理的 maxsize。

另一个常见问题是漏掉 task_done()。只要有一次 get() 没有对应确认,内部未完成计数就无法归零,queue.join() 会一直等待。把 task_done() 放在 finally 中可以覆盖正常完成、提前返回和异常路径。

Queue 适合解决“工作从哪里来”和“谁来处理”的解耦问题;当队列有界时,它还把消费者的处理能力反馈给生产者,使整个异步服务不会因为短期高并发而无限积累待处理任务。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

Queue 怎样连接生产与消费

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通