消息队列 / 系统课时

竞争消费者模式

竞争消费者模式

竞争消费者模式让多个消费者订阅同一个队列,把一份待处理消息并行分摊出去。真正影响负载是否均衡的,不只是消费者数量,还包括 prefetch、处理耗时和确认速度;本篇会把吞吐、未确认消息与顺序边界放在一起说明。

学习目标

  • 理解同一队列如何向多个活跃消费者分发消息
  • 能用 prefetch 和手动确认改善负载分配
  • 判断并行消费对消息处理顺序的影响

多个消费者如何共同消费一个队列

当三个消费者同时订阅 jobs 队列时,RabbitMQ 会在可接收消息的活跃消费者之间分发消息。正常情况下看起来接近轮询,但它不是“每人永远拿一样多”的静态切分:消费者一旦被 prefetch 限制、网络变慢或处理线程阻塞,就会暂时无法继续接收。

竞争消费者的分发、prefetch 与 ACK 关系

如果每个消费者都使用手动确认,Broker 只会把“已投递但尚未 ACK”的消息计入未确认窗口。消费者处理完成并确认后,窗口释放,新的消息才有机会继续进入该消费者。

用 prefetch 控制在途工作量

basic.qos 的核心作用是限制未确认消息数量。RabbitMQ 会把 prefetch 限制应用到每个新消费者,因此可以把它理解为“单个消费者最多同时拿多少份未完成工作”。

prefetch 太小,消费者可能频繁等消息,吞吐不足;prefetch 太大,慢消费者会提前占住大量消息,其他消费者即使空闲也无法处理这些已经在途的消息。任务耗时差异较大时,可以从较小值开始压测,再根据吞吐和 messages_unacknowledged 调整。

在已经启动 3 个 jobs 消费者后,可直接检查队列的消费者数量和在途消息:

bash
rabbitmqctl list_queues -p / name consumers messages_ready messages_unacknowledged

预期输出

text
name    consumers    messages_ready    messages_unacknowledged
jobs    3            <VALUE>           <VALUE>

<VALUE> 会随当前积压和处理速度变化。若 consumers 已经增加但 messages_ready 仍持续上涨,应继续检查消费者吞吐、下游依赖和 prefetch,而不是只继续横向扩容。

并行消费不会保证完成顺序

队列中的消息可以按顺序被投递,但多个消费者并行执行后,完成顺序取决于各自处理时间。消息 1 先交给 C1,并不代表它一定比交给 C2 的消息 2 更早 ACK;失败后的重新投递也会进一步改变业务完成顺序。

如果业务要求严格串行处理,可以只保留一个消费者,或使用 Single Active Consumer。若只要求“同一业务键有序”,更常见的做法是按业务键拆分到不同队列或分区,让同一键落到同一消费通道,而不同键仍可并行。

扩容时先看负载是否真的可分

竞争消费者适合彼此独立、可以幂等重试的任务。实践中应让每个消费者保持有限 prefetch、在业务成功后再 ACK,并同时观察 messages_ready、messages_unacknowledged、处理延迟与错误率。

当消费者数增加后吞吐不再提升,瓶颈通常已经转移到数据库、外部 API、CPU 或网络。此时继续增加消费者只会放大下游压力;竞争消费者解决的是并行度,不会自动消除业务系统本身的容量上限。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

竞争消费者模式

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通