消息队列 / 系统课时

Prefetch 到底限制了什么

Prefetch 到底限制了什么

Prefetch 经常被误解成“消费者每次只能取 N 条消息”。更准确的理解是:它限制一个 Consumer 可以同时持有多少条尚未 ACK 的消息,也就是未确认窗口。只要 ACK 释放了额度,Broker 就可以继续投递下一条,因此 Prefetch 控制的是在途压力,而不是固定批次大小。

学习目标

  • 理解 prefetch_count 与 unacked 消息数量之间的关系
  • 说明为什么 Prefetch 不是“每次拉取几条”的批处理参数
  • 能根据单条任务耗时和消费者数量选择合理的起始值

把 Prefetch 看成未确认窗口

假设 prefetch_count=3,某个 Consumer 最多可以同时占有 3 条尚未确认的消息。窗口未满时,Broker 可以继续投递;当 3 个额度全部被占用后,新的消息会留在队列中,直到这个 Consumer ACK 其中至少一条。

Prefetch 未确认窗口与 ACK 释放额度

这个模型更像网络中的滑动窗口:ACK 不是一轮结束信号,而是释放一个或多个额度。只要窗口出现空位,后续消息就可以继续进入。

用代码观察窗口达到 3

下面的完整示例先发布 5 条消息,再设置 prefetch_count=3。Consumer 故意积累 3 个 delivery tag 后用一次 multiple=True 的 ACK 一并确认,这样可以直接看到本地未确认计数先增长到 3,再被清空。

python
import pika

QUEUE = "prefetch_demo"

connection = pika.BlockingConnection(
    pika.ConnectionParameters(host="localhost")
)
channel = connection.channel()
channel.queue_declare(queue=QUEUE, durable=False, auto_delete=True)
channel.queue_purge(queue=QUEUE)

for i in range(1, 6):
    channel.basic_publish(
        exchange="",
        routing_key=QUEUE,
        body=f"task-{i}",
    )

channel.basic_qos(prefetch_count=3)

pending_tags = []
received = 0

def on_message(ch, method, properties, body):
    global received
    received += 1
    pending_tags.append(method.delivery_tag)
    print(
        f"received {body.decode()}, "
        f"local_unacked={len(pending_tags)}"
    )

    if len(pending_tags) == 3:
        # multiple=True 会确认当前 delivery_tag 及之前尚未确认的消息。
        ch.basic_ack(
            delivery_tag=method.delivery_tag,
            multiple=True,
        )
        pending_tags.clear()
        print("acked current window")

    if received == 5:
        if pending_tags:
            ch.basic_ack(
                delivery_tag=method.delivery_tag,
                multiple=True,
            )
            pending_tags.clear()
            print("acked remaining messages")
        ch.stop_consuming()

channel.basic_consume(
    queue=QUEUE,
    on_message_callback=on_message,
    auto_ack=False,
)
channel.start_consuming()
connection.close()

预期输出

text
received task-1, local_unacked=1
received task-2, local_unacked=2
received task-3, local_unacked=3
acked current window
received task-4, local_unacked=1
received task-5, local_unacked=2
acked remaining messages

这个结果说明 prefetch_count=3 并没有把回调改成“一次拿到 3 条”的批处理接口;回调仍然逐条收到消息,只是 Broker 允许该 Consumer 最多同时持有 3 条未确认消息。

Prefetch 如何影响吞吐

Prefetch 太小,Consumer 可能频繁等待下一次网络投递,尤其是在单条任务非常快、网络延迟相对明显时,吞吐会受到限制。Prefetch 太大,则会让大量消息提前进入某个 Consumer 的 unacked,增加内存占用,也会削弱多个 Consumer 之间的动态负载均衡。

一个实用起点是:耗时较长、任务差异大的工作负载先从较小值开始,例如 1 到数个;处理非常快且稳定时再逐步提高,并观察吞吐、unacked 数量和单条消息延迟,而不是只追求更大的数字。

RabbitMQ 中的作用范围

在 RabbitMQ 中,常见的 basic_qos(prefetch_count=N) 会把这个数量应用到 Consumer 的未确认窗口。一个 Channel 上存在多个 Consumer 时,不要想当然地把 N 理解成它们共同共享的固定总额;RabbitMQ 对 AMQP 0-9-1 的 Prefetch 语义做了面向 Consumer 的实现扩展。

Prefetch 的核心问题始终是“一个 Consumer 最多能背着多少条还没确认的消息”。把它理解成未确认窗口后,消息为何停在 ready、为何堆到 unacked、以及快慢消费者为何得到不同分配,就会变得一致而可解释。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

Prefetch 到底限制了什么

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通