消息队列 / 系统课时

多个消费者如何分担消息

多个消费者如何分担消息

同一队列挂上多个 Consumer 后,一条消息只会交给其中一个消费者处理。通过实际启动两个消费者并连续发送任务,可以观察竞争消费者模式、确认机制与 prefetch 如何共同影响分发结果。

学习目标

  • 理解同一队列中多个 Consumer 的竞争消费关系
  • 能启动两个消费者并观察消息分发结果
  • 理解 prefetch_count=1 为什么会让忙碌消费者暂时停止接收新消息

竞争消费者模式的核心

RabbitMQ 的队列不会把同一条消息复制给同一队列上的所有 Consumer。多个 Consumer 同时订阅一个队列时,它们竞争队列中的消息:每条消息只分配给一个 Consumer,处理成功后由该 Consumer 确认。

同一队列向多个消费者分发消息

这种模式适合“任务只需执行一次”的工作队列,例如图片处理、邮件发送、订单异步计算。若需求是“每个订阅者都收到一份消息”,就不能让它们共享同一个队列,而应让不同队列分别绑定到交换机。

启动两个消费者

下面示例假设本机 RabbitMQ 正在监听默认 AMQP 端口,并且 Python 环境已安装 pika。保存为 consumer.py。消费者通过环境变量区分名称,并设置 prefetch_count=1,让当前消息尚未确认的 Consumer 暂时不再接收新的未确认消息。

python
import os
import time
import pika

name = os.getenv("CONSUMER_NAME", "consumer")
connection = pika.BlockingConnection(
    pika.ConnectionParameters(host="localhost")
)
channel = connection.channel()
channel.queue_declare(queue="work-demo", durable=False)
channel.basic_qos(prefetch_count=1)

def handle_message(ch, method, properties, body):
    message = body.decode("utf-8")
    print(f"{name} received: {message}", flush=True)
    # 模拟任务处理时间,处理完成后再确认。
    time.sleep(1)
    ch.basic_ack(delivery_tag=method.delivery_tag)

channel.basic_consume(
    queue="work-demo",
    on_message_callback=handle_message,
    auto_ack=False,
)

print(f"{name} waiting", flush=True)
channel.start_consuming()

预期输出

text
consumer waiting

脚本会继续阻塞等待消息,不会在打印这一行后退出。

在终端 A 启动第一个消费者。

bash
CONSUMER_NAME=consumer-a python consumer.py

预期输出

text
consumer-a waiting

在终端 B 启动第二个消费者。

bash
CONSUMER_NAME=consumer-b python consumer.py

预期输出

text
consumer-b waiting

两个进程此时都订阅 work-demo 队列。

连续发送任务并观察分发

保存下面的完整生产者为 publish.py,一次发送 6 条消息到默认交换机,路由键就是队列名。

python
import pika

connection = pika.BlockingConnection(
    pika.ConnectionParameters(host="localhost")
)
channel = connection.channel()
channel.queue_declare(queue="work-demo", durable=False)

for index in range(1, 7):
    body = f"job-{index}"
    channel.basic_publish(
        exchange="",
        routing_key="work-demo",
        body=body,
    )
    print(f"sent: {body}")

connection.close()

预期输出

text
sent: job-1
sent: job-2
sent: job-3
sent: job-4
sent: job-5
sent: job-6

运行生产者后,两个消费者会各自收到一部分消息。常见观察结果类似下面这样,但具体由哪个消费者先拿到某一条消息不应被写死。

text
consumer-a received: job-1
consumer-a received: job-3
consumer-a received: job-5

另一个终端可能看到:

text
consumer-b received: job-2
consumer-b received: job-4
consumer-b received: job-6

这是竞争消费,不是广播。RabbitMQ 会在可接收消息的 Consumer 之间分发任务;设置 prefetch_count=1 后,尚有一条未确认消息的 Consumer 暂时不再接收新消息,因此实际结果不保证严格交替。

确认与失败会改变消息归属

这里使用手动确认。Consumer 收到消息并不代表任务已经完成;只有执行 basic_ack 后,RabbitMQ 才能把这条投递视为已成功处理。

如果 Consumer 在确认前异常断开,RabbitMQ 会把未确认消息重新排队,并可能交给仍在线的另一个 Consumer。这样可以避免“进程拿到任务后立刻崩溃”导致消息直接丢失,但业务代码仍要考虑重复处理,因此实际任务通常需要具备幂等性。

多个 Consumer 的价值不在于复制消息,而在于让同一个队列拥有多个并行处理者。需要提高吞吐时可以增加 Consumer;需要限制单个 Consumer 同时承担的未确认任务数时,再结合合理的 prefetch 与手动确认控制负载。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

多个消费者如何分担消息

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通