Python / 系统课时
Queue 怎样连接生产与消费
Queue 怎样连接生产与消费
异步服务常同时面对“数据不断到达”和“处理速度有限”两个事实。直接为每条数据创建 Task 会让待处理工作无限增长。本节用 asyncio.Queue 把生产者与消费者解耦,并利用有界队列形成可观察、可控制的异步工作流水线。
学习目标
- 理解
asyncio.Queue如何连接生产阶段与消费阶段 - 使用
maxsize、put()、get()、task_done()和join()实现完整工作队列 - 正确处理多个消费者的退出信号,并避免
join()永久等待
Queue 在流水线中的位置
生产者负责把任务放入队列,消费者负责从队列取出并处理。双方不需要保持相同速度:短暂的生产高峰可以先积存在队列里,而消费者按自身能力逐项消化。
当设置 maxsize 后,队列满时 await queue.put(item) 会暂停当前生产者,直到消费者腾出空间。这种反向传递压力的机制就是背压,它能阻止应用只顾接收数据而无限占用内存。

一次任务的完整生命周期
生产者通过 await queue.put(item) 放入任务。消费者通过 await queue.get() 取得任务后负责处理,并且必须为每一次成功的 get() 调用一次 queue.task_done()。
Queue 内部维护“尚未确认完成”的任务计数。每次 put() 会增加计数,每次 task_done() 会减少计数,而 await queue.join() 会一直等待这个计数归零。因此,join() 表示“已经放入队列的任务全部处理完成”,并不等同于“消费者协程已经退出”。
建立两个消费者的工作队列
下面的生产者写入 5 个整数,两个消费者计算平方。队列容量只有 2,因此当消费者来不及取数据时,生产者会在 put() 处自然等待。最后再为每个消费者放入一个 None 作为退出信号。
import asyncio
async def producer(queue: asyncio.Queue[int | None]) -> None:
for value in range(5):
await queue.put(value)
# 每个消费者都需要收到一个独立的退出信号。
for _ in range(2):
await queue.put(None)
async def worker(
name: str,
queue: asyncio.Queue[int | None],
results: list[tuple[int, int]],
) -> None:
while True:
item = await queue.get()
try:
if item is None:
return
await asyncio.sleep(0.02)
results.append((item, item * item))
finally:
# 每次 get 都必须对应一次 task_done,包括退出信号。
queue.task_done()
async def main() -> None:
queue: asyncio.Queue[int | None] = asyncio.Queue(maxsize=2)
results: list[tuple[int, int]] = []
workers = [
asyncio.create_task(worker("worker-a", queue, results)),
asyncio.create_task(worker("worker-b", queue, results)),
]
await producer(queue)
await queue.join()
await asyncio.gather(*workers)
print(sorted(results))
print(f"remaining={queue.qsize()}")
asyncio.run(main())预期输出
[(0, 0), (1, 1), (2, 4), (3, 9), (4, 16)]
remaining=0两个消费者实际完成任务的先后顺序可能不同,因此示例在打印前使用 sorted(),让验证结果保持稳定。队列最终大小为 0,说明普通任务和退出信号都已被取走。
背压与退出最容易写错的地方
无界的 asyncio.Queue() 只完成解耦,并不能阻止生产速度长期高于消费速度;如果数据源持续不断,队列仍可能无限增长。对网络接收、批量抓取和日志处理等场景,通常应根据可接受的内存占用设置合理的 maxsize。
另一个常见问题是漏掉 task_done()。只要有一次 get() 没有对应确认,内部未完成计数就无法归零,queue.join() 会一直等待。把 task_done() 放在 finally 中可以覆盖正常完成、提前返回和异常路径。
Queue 适合解决“工作从哪里来”和“谁来处理”的解耦问题;当队列有界时,它还把消费者的处理能力反馈给生产者,使整个异步服务不会因为短期高并发而无限积累待处理任务。