消息队列 / 系统课时
Prefetch 到底限制了什么
Prefetch 到底限制了什么
Prefetch 经常被误解成“消费者每次只能取 N 条消息”。更准确的理解是:它限制一个 Consumer 可以同时持有多少条尚未 ACK 的消息,也就是未确认窗口。只要 ACK 释放了额度,Broker 就可以继续投递下一条,因此 Prefetch 控制的是在途压力,而不是固定批次大小。
学习目标
- 理解
prefetch_count与 unacked 消息数量之间的关系 - 说明为什么 Prefetch 不是“每次拉取几条”的批处理参数
- 能根据单条任务耗时和消费者数量选择合理的起始值
把 Prefetch 看成未确认窗口
假设 prefetch_count=3,某个 Consumer 最多可以同时占有 3 条尚未确认的消息。窗口未满时,Broker 可以继续投递;当 3 个额度全部被占用后,新的消息会留在队列中,直到这个 Consumer ACK 其中至少一条。

这个模型更像网络中的滑动窗口:ACK 不是一轮结束信号,而是释放一个或多个额度。只要窗口出现空位,后续消息就可以继续进入。
用代码观察窗口达到 3
下面的完整示例先发布 5 条消息,再设置 prefetch_count=3。Consumer 故意积累 3 个 delivery tag 后用一次 multiple=True 的 ACK 一并确认,这样可以直接看到本地未确认计数先增长到 3,再被清空。
import pika
QUEUE = "prefetch_demo"
connection = pika.BlockingConnection(
pika.ConnectionParameters(host="localhost")
)
channel = connection.channel()
channel.queue_declare(queue=QUEUE, durable=False, auto_delete=True)
channel.queue_purge(queue=QUEUE)
for i in range(1, 6):
channel.basic_publish(
exchange="",
routing_key=QUEUE,
body=f"task-{i}",
)
channel.basic_qos(prefetch_count=3)
pending_tags = []
received = 0
def on_message(ch, method, properties, body):
global received
received += 1
pending_tags.append(method.delivery_tag)
print(
f"received {body.decode()}, "
f"local_unacked={len(pending_tags)}"
)
if len(pending_tags) == 3:
# multiple=True 会确认当前 delivery_tag 及之前尚未确认的消息。
ch.basic_ack(
delivery_tag=method.delivery_tag,
multiple=True,
)
pending_tags.clear()
print("acked current window")
if received == 5:
if pending_tags:
ch.basic_ack(
delivery_tag=method.delivery_tag,
multiple=True,
)
pending_tags.clear()
print("acked remaining messages")
ch.stop_consuming()
channel.basic_consume(
queue=QUEUE,
on_message_callback=on_message,
auto_ack=False,
)
channel.start_consuming()
connection.close()预期输出
received task-1, local_unacked=1
received task-2, local_unacked=2
received task-3, local_unacked=3
acked current window
received task-4, local_unacked=1
received task-5, local_unacked=2
acked remaining messages这个结果说明 prefetch_count=3 并没有把回调改成“一次拿到 3 条”的批处理接口;回调仍然逐条收到消息,只是 Broker 允许该 Consumer 最多同时持有 3 条未确认消息。
Prefetch 如何影响吞吐
Prefetch 太小,Consumer 可能频繁等待下一次网络投递,尤其是在单条任务非常快、网络延迟相对明显时,吞吐会受到限制。Prefetch 太大,则会让大量消息提前进入某个 Consumer 的 unacked,增加内存占用,也会削弱多个 Consumer 之间的动态负载均衡。
一个实用起点是:耗时较长、任务差异大的工作负载先从较小值开始,例如 1 到数个;处理非常快且稳定时再逐步提高,并观察吞吐、unacked 数量和单条消息延迟,而不是只追求更大的数字。
RabbitMQ 中的作用范围
在 RabbitMQ 中,常见的 basic_qos(prefetch_count=N) 会把这个数量应用到 Consumer 的未确认窗口。一个 Channel 上存在多个 Consumer 时,不要想当然地把 N 理解成它们共同共享的固定总额;RabbitMQ 对 AMQP 0-9-1 的 Prefetch 语义做了面向 Consumer 的实现扩展。
Prefetch 的核心问题始终是“一个 Consumer 最多能背着多少条还没确认的消息”。把它理解成未确认窗口后,消息为何停在 ready、为何堆到 unacked、以及快慢消费者为何得到不同分配,就会变得一致而可解释。