消息队列 / 系统课时
重复与丢失排查
重复与丢失排查
重复与丢失不能靠“队列里现在有没有消息”直接下结论。本课用同一个消息标识串起生产、Broker、消费确认和业务落库四段证据,判断消息究竟没有发出、被重新投递,还是已经处理却因确认时序造成重复。
学习目标
- 用唯一消息标识还原一次消息从发布到落库的完整链路
- 根据发布确认、队列状态与消费确认区分重复和丢失的根因
- 建立可复用的排查顺序,避免只凭单点日志误判
先固定一条消息的证据链
排查前先确定不可变的 event_id 或 AMQP message_id,并限定故障时间窗。业务订单号不能替代消息标识,因为同一订单可能合法地产生多条事件。生产者日志至少记录发送尝试次数、Exchange、routing key、publisher confirm 和 return 结果;消费者日志记录消息标识、是否重投、处理结果与 ACK/NACK 时机;数据库保存去重键和业务提交结果。

先按“生产者是否得到确定结果 → 消息是否进入目标队列 → 消费者是否拿到并确认 → 业务事务是否真正提交”的顺序查。只要四段使用同一标识,重复通常能定位到重试或重投,丢失则能定位到发送、路由、确认或业务提交之间的断点。
从生产端判断是否真的发成功
publisher confirm 表示 Broker 是否已经接管发布结果,但它不等价于“业务已经处理成功”。使用 mandatory=true 时还要同时检查不可路由返回;如果确认结果超时,生产者不能断言原消息失败,因为可能只是 ACK 在返回途中丢失。此时直接重发会形成至少一次语义下的重复风险,所以生产端和消费端都要依赖稳定消息标识实现幂等。
如果日志显示同一个 event_id 有两次发送尝试,而第一次没有明确 NACK 或 return,仅仅是 confirm 超时,那么应优先按“结果未知后重试”调查重复;若明确收到不可路由 return,却没有补偿、备用路由或失败存储,则应沿路由配置调查丢失。
查看队列与消费现场
下面的命令把应用日志和 Broker 当前状态放到同一个时间窗中。示例假设应用已经记录 event_id;执行前把 <PATH> 替换为实际日志目录。
EVENT_ID='evt-20260903-001'
grep -F "$EVENT_ID" "<PATH>/producer.log"
grep -F "$EVENT_ID" "<PATH>/consumer.log"
rabbitmqctl list_queues -p / \
name type messages_ready messages_unacknowledged consumers state预期输出
<TIME> event_id=evt-20260903-001 publish_attempt=1 confirm=ack returned=false
<TIME> event_id=evt-20260903-001 redelivered=true business_commit=ok ack=sent
name type messages_ready messages_unacknowledged consumers state
orders.work quorum 0 0 4 running日志格式、节点名和数值会因环境而异。messages_ready 持续升高通常表示消费能力不足或消费者不可用;messages_unacknowledged 长时间升高更像消费者处理阻塞、ACK 未发送或连接异常。两者都为 0 只能说明“此刻队列没有待处理消息”,不能证明历史上消息从未进入队列。
对于 quorum queue,还可以让消费者把 redelivered 与 x-delivery-count 一并写入日志,用于确认是否发生过失败后的重新投递。看到同一 event_id 再次到达时,先判断它是 Broker 合法重投,还是生产者真的发布了第二份消息。
用业务记录给故障定性
重复最常见的两条链路是:生产者没有拿到 confirm 后重试,导致同一业务事件被再次发布;或者消费者已经提交业务事务,但 ACK 在进程崩溃或网络中断前没有到达 Broker,消息随后被重新投递。后一种情况不是 Broker“凭空复制”,而是确认语义保证至少一次投递的正常结果,消费端必须用 consumer_name + event_id 唯一键或等价机制把重复尝试折叠掉。
丢失则重点检查三个边界:生产端发送失败后没有重试或补偿;消息不可路由后没有被 return、备用路由或失败存储接住;消费者在业务事务持久化之前就 ACK,之后处理失败。若使用 reject/nack 且 requeue=false,还要确认死信路径是否存在,否则消息可能被直接丢弃。
排查完成后应能为每个异常消息写出一条连续证据:最后一次确定的成功点、第一次缺失的证据,以及对应补偿动作。做不到这一点时,不要用“RabbitMQ 丢消息”或“RabbitMQ 重复消息”作为根因结论。