消息队列 / 系统课时

监听容器与并发消费

监听容器与并发消费

Spring Boot 中,@RabbitListener 背后真正负责拉取消息、分配线程、确认投递和处理异常的是监听容器。本节把确认模式、并发消费者、预取数量和失败处理放在同一条消费链路里配置,并给出可验证的调优方法。

学习目标

  • 配置监听容器的确认模式、并发范围与每消费者预取数量
  • 理解并发数与 prefetch 共同决定的在途消息规模
  • 判断异常后应该重新入队、拒绝还是交给后续恢复流程

监听容器控制消费节奏

默认的 Simple 监听容器会为 @RabbitListener 创建消费者,并让每个消费者通过自己的 Channel 接收消息。concurrency 决定起始并发,max-concurrency 给出负载升高时的上限,prefetch 则限制每个消费者尚未确认的消息数量。

监听容器并发、预取与确认关系

AUTO 确认并不是 RabbitMQ 协议里的自动确认,而是由 Spring 容器在监听方法成功返回后发送确认;监听方法抛出异常时,容器会进入错误处理路径。NONE 才对应 broker 侧不等待消费者确认,MANUAL 则要求业务代码显式确认。

配置确认、并发与预取

以下 application.yml 以 Simple 容器为例。起始消费者为 2,忙时最多扩到 6;每个消费者最多保留 20 条未确认消息。失败消息默认不重新入队,避免同一条坏消息在没有重试上限时持续占用消费者。

yaml
spring:
  rabbitmq:
    listener:
      type: simple
      simple:
        acknowledge-mode: auto
        concurrency: 2
        max-concurrency: 6
        prefetch: 20
        default-requeue-rejected: false

生效后,正常消息由容器在监听方法返回时确认;异常消息不会因为 default-requeue-rejected: false 自动回到原队列。若队列配置了死信交换机,被拒绝的消息可以继续进入 DLX;否则会被丢弃,因此生产环境必须事先设计失败消息去向。

用容量模型理解参数组合

并发和预取不能分别调。最大并发为 6、prefetch 为 20 时,理论上最多可能有约 6×20=1206 \times 20 = 120 条消息同时处于已投递但未确认状态。这个数字不是吞吐量,而是客户端在途消息的容量上限之一。

场景 建议方向 原因
单条处理很快、CPU 有余量 逐步提高并发 增加同时工作的消费者
消息体大或处理很慢 降低 prefetch 控制客户端内存和未确认积压
必须尽量保持队列顺序 concurrency=1,prefetch=1 减少并行和提前投递造成的乱序

异常处理器决定失败去向

监听器抛出的未处理异常会交给容器的 ErrorHandler。默认错误处理器能够识别一部分致命的转换或参数错误,并阻止明显不可处理的消息反复回队;业务异常是否重排队,则还受 defaultRequeueRejected 和异常类型影响。

如果失败需要有限次数重试,不应依赖无限 requeue,而应给监听器增加有上限的重试与 MessageRecoverer。如果某类业务异常必须立刻丢弃或进入死信,也可以抛出 AmqpRejectAndDontRequeueException 明确表达“拒绝且不重新入队”。

验证消费者数量和预取

应用启动并创建监听器后,可以直接从 RabbitMQ 节点查看消费者的确认要求和预取值:

bash
rabbitmqctl list_consumers -p / queue_name ack_required prefetch_count active

预期结果

text
queue_name    ack_required    prefetch_count    active
<QUEUE>       true            20                true
<QUEUE>       true            20                true

<QUEUE> 为实际队列名;起始状态应至少看到 2 个该监听器的消费者,持续高负载时数量可向 6 增长。若预取仍不是 20,应先确认监听器是否使用了另一个自定义 RabbitListenerContainerFactory,因为注解指定的工厂会覆盖默认容器配置。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

监听容器与并发消费

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通