架构与系统设计 / 系统课时
消息查不到先检查哪一段
消息查不到先检查哪一段
生产者说已经发送,队列却为空,消费者也没有业务结果,这些现象并不能直接证明消息丢失。本篇按生产、Broker、路由和消费四段寻找证据断点,并用 RabbitMQ 的只读命令区分未入队、待投递、处理中与已经离队。
学习目标
- 固定事件身份与环境,避免追踪不同消息或不同集群。
- 按四段检查发送证据、路由配置、队列存量与消费结果。
- 选择有证据支撑的修复,并验证具体事件的业务效果。
先锁定同一条消息和同一个环境
先收集原始事件的 event_id、来源服务、业务键与发送时间窗口,再核对生产者和消费者实际连接的集群、虚拟主机与目标地址。订单号只能辅助检索,因为同一订单可能产生多个不同事件。
本文命令适用于 RabbitMQ 4.x,协议讨论限定为 AMQP 0-9-1。示例既有拓扑为:虚拟主机 /,交换机 orders.events,路由键 order.confirmed,目标队列 inventory.orders。这些名称是示例约定,不是系统默认资源。
先保存配置和审计快照。不要通过清空队列、删除重建或额外消费消息来“验证是否存在”;这会改变待排查现场。排查目标是找到最后一个有证据的环节,以及下一个尚未被证实的环节。
按四段寻找证据断点
- 生产段:是否真正尝试发布。 查业务事务、事件生成记录及发送调用结果。采用 Outbox 时,核对是否存在待发送记录、发布器是否处理过它;不要把“业务代码执行到了发送前”当成发送成功。([AWS 文档][5])
- Broker 段:是否收到发布结果。 查与这次发布对应的确认、否定确认、连接错误或超时。调用发送方法返回,不足以证明 Broker 已接收;确认超时也不能反向证明它未接收。([RabbitMQ][3])
- 路由段:是否命中目标队列。 核对交换机类型、绑定和实际路由键。无法路由的消息也可能得到发布确认,因此还要检查返回消息,不能只看确认成功。([RabbitMQ][4])
- 消费段:是否收到并完成业务。 查具体消费者的接收、处理终态及业务凭据,而不是只看进程在线。消费确认是应用向 Broker 表达处理完成的机制,并不替应用验证数据库结果。([RabbitMQ][6])

开启 mandatory 并处理 basic.return,可以观察最终无法路由到任何队列的消息;没有返回也不保证命中了指定队列。未要求返回的不可路由消息,可能被丢弃或进入已配置的备用交换机。([RabbitMQ][3])
用只读命令核对路由和队列存量
在目标 RabbitMQ 节点上,以能够通过 Erlang cookie 认证的运维用户执行。需要已安装 rabbitmqctl 且节点运行;命令只查询已有资源,不创建示例拓扑。列名与 -p 参数均按官方命令接口使用。([RabbitMQ][7])
# 必须使用生产者实际连接的虚拟主机。
VHOST='/'
rabbitmqctl list_exchanges -p "$VHOST" name type
rabbitmqctl list_bindings -p "$VHOST" source_name destination_name destination_kind routing_key
# 查询存量和订阅数,不读取或确认消息正文。
rabbitmqctl list_queues -p "$VHOST" name messages_ready messages_unacknowledged consumers预期输出:返回交换机、绑定和队列统计。下面是一组故障快照示例,仅保留相关表头与行;实际资源、计数、提示行和列间空白可能不同,3 0 0 不是命令固定返回值。
name type
orders.events direct
source_name destination_name destination_kind routing_key
orders.events inventory.orders queue order.confirmed
name messages_ready messages_unacknowledged consumers
inventory.orders 3 0 0这组快照表明目标绑定当前存在,队列有三条待投递消息,但没有已注册消费者。优先检查订阅是否建立在正确的虚拟主机和队列上。它不能证明这三条中包含正在追踪的事件,仍需结合该事件的投递或审计证据。
这里假设消费者通过订阅收消息。使用轮询拉取时,订阅数为零不能判定消费端不存在;不要仅凭这一列决定重启应用。([RabbitMQ][6])
当前绑定存在,也不能证明发送当时就存在;历史消息排查还要核对变更时间。命令执行失败时先处理节点连接、认证或虚拟主机错误,不能把查询失败解释成“队列为空”。
根据观察结果选择修复
messages_ready 表示可投递消息数,messages_unacknowledged 表示已经投递但尚未确认的消息数,consumers 表示消费者数。这些是队列级统计,不是事件查询结果。([RabbitMQ][7])
| 观察结果 | 优先验证 | 修复方向 |
|---|---|---|
| 目标绑定缺失或路由键不匹配 | 实际发布参数及发送时的配置 | 修正配置,再评估历史消息是否需要补发 |
| 待投递数量大于零,消费者为零 | 订阅失败、连错环境或队列 | 恢复正确订阅,不先扩容 Broker |
| 未确认数量持续不降 | 处理耗时、下游阻塞与确认逻辑 | 解除阻塞,核对业务结果后处理确认 |
| 待投递和未确认都为零 | 已消费、过期、死信或管理操作 | 转查历史证据,不直接判定未发送 |
拒绝且不重新入队、消息过期或队列长度限制等情况,可能触发死信处理;需要核对实际死信策略和对应目标,不能假定一定存在死信队列。([RabbitMQ][8])
若消费者采用自动确认,或者业务提交前就提前确认,消息离开队列也可能没有业务结果。修复时应检查确认时机,而不是把“队列已清空”当成恢复成功。([RabbitMQ][4])
用具体事件的业务结果结束排查
先保留修复前后的证据,再通过正常业务入口在测试环境产生一个新事件:应能对应发布结果、目标消费者处理记录和业务凭据。新事件通过只证明当前链路可用,不能替代历史事件的核对。
历史事件是否补发,要先核查已有业务效果,并确认消费者具备幂等保护。建议重放同一事实时保留原事件标识,同时记录新的发送尝试;确认超时尤其不能被当作“绝未送达”而直接生成新事件重复执行。
最终记录应说明:事件身份、最后可确认的环节、缺失的证据、根因、修复动作及业务验收结果。若留存窗口内也找不到必要记录,应写“现有证据无法确认历史去向”,而不是凭队列当前为空给出确定结论。