消息队列 / 系统课时
竞争消费者模式
竞争消费者模式
竞争消费者模式让多个消费者订阅同一个队列,把一份待处理消息并行分摊出去。真正影响负载是否均衡的,不只是消费者数量,还包括 prefetch、处理耗时和确认速度;本篇会把吞吐、未确认消息与顺序边界放在一起说明。
学习目标
- 理解同一队列如何向多个活跃消费者分发消息
- 能用 prefetch 和手动确认改善负载分配
- 判断并行消费对消息处理顺序的影响
多个消费者如何共同消费一个队列
当三个消费者同时订阅 jobs 队列时,RabbitMQ 会在可接收消息的活跃消费者之间分发消息。正常情况下看起来接近轮询,但它不是“每人永远拿一样多”的静态切分:消费者一旦被 prefetch 限制、网络变慢或处理线程阻塞,就会暂时无法继续接收。

如果每个消费者都使用手动确认,Broker 只会把“已投递但尚未 ACK”的消息计入未确认窗口。消费者处理完成并确认后,窗口释放,新的消息才有机会继续进入该消费者。
用 prefetch 控制在途工作量
basic.qos 的核心作用是限制未确认消息数量。RabbitMQ 会把 prefetch 限制应用到每个新消费者,因此可以把它理解为“单个消费者最多同时拿多少份未完成工作”。
prefetch 太小,消费者可能频繁等消息,吞吐不足;prefetch 太大,慢消费者会提前占住大量消息,其他消费者即使空闲也无法处理这些已经在途的消息。任务耗时差异较大时,可以从较小值开始压测,再根据吞吐和 messages_unacknowledged 调整。
在已经启动 3 个 jobs 消费者后,可直接检查队列的消费者数量和在途消息:
rabbitmqctl list_queues -p / name consumers messages_ready messages_unacknowledged预期输出
name consumers messages_ready messages_unacknowledged
jobs 3 <VALUE> <VALUE><VALUE> 会随当前积压和处理速度变化。若 consumers 已经增加但 messages_ready 仍持续上涨,应继续检查消费者吞吐、下游依赖和 prefetch,而不是只继续横向扩容。
并行消费不会保证完成顺序
队列中的消息可以按顺序被投递,但多个消费者并行执行后,完成顺序取决于各自处理时间。消息 1 先交给 C1,并不代表它一定比交给 C2 的消息 2 更早 ACK;失败后的重新投递也会进一步改变业务完成顺序。
如果业务要求严格串行处理,可以只保留一个消费者,或使用 Single Active Consumer。若只要求“同一业务键有序”,更常见的做法是按业务键拆分到不同队列或分区,让同一键落到同一消费通道,而不同键仍可并行。
扩容时先看负载是否真的可分
竞争消费者适合彼此独立、可以幂等重试的任务。实践中应让每个消费者保持有限 prefetch、在业务成功后再 ACK,并同时观察 messages_ready、messages_unacknowledged、处理延迟与错误率。
当消费者数增加后吞吐不再提升,瓶颈通常已经转移到数据库、外部 API、CPU 或网络。此时继续增加消费者只会放大下游压力;竞争消费者解决的是并行度,不会自动消除业务系统本身的容量上限。