消息队列 / 系统课时
多个消费者如何分担消息
多个消费者如何分担消息
同一队列挂上多个 Consumer 后,一条消息只会交给其中一个消费者处理。通过实际启动两个消费者并连续发送任务,可以观察竞争消费者模式、确认机制与 prefetch 如何共同影响分发结果。
学习目标
- 理解同一队列中多个 Consumer 的竞争消费关系
- 能启动两个消费者并观察消息分发结果
- 理解
prefetch_count=1为什么会让忙碌消费者暂时停止接收新消息
竞争消费者模式的核心
RabbitMQ 的队列不会把同一条消息复制给同一队列上的所有 Consumer。多个 Consumer 同时订阅一个队列时,它们竞争队列中的消息:每条消息只分配给一个 Consumer,处理成功后由该 Consumer 确认。

这种模式适合“任务只需执行一次”的工作队列,例如图片处理、邮件发送、订单异步计算。若需求是“每个订阅者都收到一份消息”,就不能让它们共享同一个队列,而应让不同队列分别绑定到交换机。
启动两个消费者
下面示例假设本机 RabbitMQ 正在监听默认 AMQP 端口,并且 Python 环境已安装 pika。保存为 consumer.py。消费者通过环境变量区分名称,并设置 prefetch_count=1,让当前消息尚未确认的 Consumer 暂时不再接收新的未确认消息。
import os
import time
import pika
name = os.getenv("CONSUMER_NAME", "consumer")
connection = pika.BlockingConnection(
pika.ConnectionParameters(host="localhost")
)
channel = connection.channel()
channel.queue_declare(queue="work-demo", durable=False)
channel.basic_qos(prefetch_count=1)
def handle_message(ch, method, properties, body):
message = body.decode("utf-8")
print(f"{name} received: {message}", flush=True)
# 模拟任务处理时间,处理完成后再确认。
time.sleep(1)
ch.basic_ack(delivery_tag=method.delivery_tag)
channel.basic_consume(
queue="work-demo",
on_message_callback=handle_message,
auto_ack=False,
)
print(f"{name} waiting", flush=True)
channel.start_consuming()预期输出
consumer waiting脚本会继续阻塞等待消息,不会在打印这一行后退出。
在终端 A 启动第一个消费者。
CONSUMER_NAME=consumer-a python consumer.py预期输出
consumer-a waiting在终端 B 启动第二个消费者。
CONSUMER_NAME=consumer-b python consumer.py预期输出
consumer-b waiting两个进程此时都订阅 work-demo 队列。
连续发送任务并观察分发
保存下面的完整生产者为 publish.py,一次发送 6 条消息到默认交换机,路由键就是队列名。
import pika
connection = pika.BlockingConnection(
pika.ConnectionParameters(host="localhost")
)
channel = connection.channel()
channel.queue_declare(queue="work-demo", durable=False)
for index in range(1, 7):
body = f"job-{index}"
channel.basic_publish(
exchange="",
routing_key="work-demo",
body=body,
)
print(f"sent: {body}")
connection.close()预期输出
sent: job-1
sent: job-2
sent: job-3
sent: job-4
sent: job-5
sent: job-6运行生产者后,两个消费者会各自收到一部分消息。常见观察结果类似下面这样,但具体由哪个消费者先拿到某一条消息不应被写死。
consumer-a received: job-1
consumer-a received: job-3
consumer-a received: job-5另一个终端可能看到:
consumer-b received: job-2
consumer-b received: job-4
consumer-b received: job-6这是竞争消费,不是广播。RabbitMQ 会在可接收消息的 Consumer 之间分发任务;设置 prefetch_count=1 后,尚有一条未确认消息的 Consumer 暂时不再接收新消息,因此实际结果不保证严格交替。
确认与失败会改变消息归属
这里使用手动确认。Consumer 收到消息并不代表任务已经完成;只有执行 basic_ack 后,RabbitMQ 才能把这条投递视为已成功处理。
如果 Consumer 在确认前异常断开,RabbitMQ 会把未确认消息重新排队,并可能交给仍在线的另一个 Consumer。这样可以避免“进程拿到任务后立刻崩溃”导致消息直接丢失,但业务代码仍要考虑重复处理,因此实际任务通常需要具备幂等性。
多个 Consumer 的价值不在于复制消息,而在于让同一个队列拥有多个并行处理者。需要提高吞吐时可以增加 Consumer;需要限制单个 Consumer 同时承担的未确认任务数时,再结合合理的 prefetch 与手动确认控制负载。