架构与系统设计 / 系统课时

消息查不到先检查哪一段

消息查不到先检查哪一段

生产者说已经发送,队列却为空,消费者也没有业务结果,这些现象并不能直接证明消息丢失。本篇按生产、Broker、路由和消费四段寻找证据断点,并用 RabbitMQ 的只读命令区分未入队、待投递、处理中与已经离队。

学习目标

  • 固定事件身份与环境,避免追踪不同消息或不同集群。
  • 按四段检查发送证据、路由配置、队列存量与消费结果。
  • 选择有证据支撑的修复,并验证具体事件的业务效果。

先锁定同一条消息和同一个环境

先收集原始事件的 event_id、来源服务、业务键与发送时间窗口,再核对生产者和消费者实际连接的集群、虚拟主机与目标地址。订单号只能辅助检索,因为同一订单可能产生多个不同事件。

本文命令适用于 RabbitMQ 4.x,协议讨论限定为 AMQP 0-9-1。示例既有拓扑为:虚拟主机 /,交换机 orders.events,路由键 order.confirmed,目标队列 inventory.orders。这些名称是示例约定,不是系统默认资源。

先保存配置和审计快照。不要通过清空队列、删除重建或额外消费消息来“验证是否存在”;这会改变待排查现场。排查目标是找到最后一个有证据的环节,以及下一个尚未被证实的环节。

按四段寻找证据断点

  1. 生产段:是否真正尝试发布。 查业务事务、事件生成记录及发送调用结果。采用 Outbox 时,核对是否存在待发送记录、发布器是否处理过它;不要把“业务代码执行到了发送前”当成发送成功。([AWS 文档][5])
  2. Broker 段:是否收到发布结果。 查与这次发布对应的确认、否定确认、连接错误或超时。调用发送方法返回,不足以证明 Broker 已接收;确认超时也不能反向证明它未接收。([RabbitMQ][3])
  3. 路由段:是否命中目标队列。 核对交换机类型、绑定和实际路由键。无法路由的消息也可能得到发布确认,因此还要检查返回消息,不能只看确认成功。([RabbitMQ][4])
  4. 消费段:是否收到并完成业务。 查具体消费者的接收、处理终态及业务凭据,而不是只看进程在线。消费确认是应用向 Broker 表达处理完成的机制,并不替应用验证数据库结果。([RabbitMQ][6])

消息查不到时按生产、Broker、路由和消费逐段补齐证据

开启 mandatory 并处理 basic.return,可以观察最终无法路由到任何队列的消息;没有返回也不保证命中了指定队列。未要求返回的不可路由消息,可能被丢弃或进入已配置的备用交换机。([RabbitMQ][3])

用只读命令核对路由和队列存量

在目标 RabbitMQ 节点上,以能够通过 Erlang cookie 认证的运维用户执行。需要已安装 rabbitmqctl 且节点运行;命令只查询已有资源,不创建示例拓扑。列名与 -p 参数均按官方命令接口使用。([RabbitMQ][7])

bash
# 必须使用生产者实际连接的虚拟主机。
VHOST='/'
rabbitmqctl list_exchanges -p "$VHOST" name type
rabbitmqctl list_bindings -p "$VHOST" source_name destination_name destination_kind routing_key

# 查询存量和订阅数,不读取或确认消息正文。
rabbitmqctl list_queues -p "$VHOST" name messages_ready messages_unacknowledged consumers

预期输出:返回交换机、绑定和队列统计。下面是一组故障快照示例,仅保留相关表头与行;实际资源、计数、提示行和列间空白可能不同,3 0 0 不是命令固定返回值。

text
name              type
orders.events     direct

source_name       destination_name   destination_kind   routing_key
orders.events     inventory.orders   queue              order.confirmed

name               messages_ready   messages_unacknowledged   consumers
inventory.orders   3                0                         0

这组快照表明目标绑定当前存在,队列有三条待投递消息,但没有已注册消费者。优先检查订阅是否建立在正确的虚拟主机和队列上。它不能证明这三条中包含正在追踪的事件,仍需结合该事件的投递或审计证据。

这里假设消费者通过订阅收消息。使用轮询拉取时,订阅数为零不能判定消费端不存在;不要仅凭这一列决定重启应用。([RabbitMQ][6])

当前绑定存在,也不能证明发送当时就存在;历史消息排查还要核对变更时间。命令执行失败时先处理节点连接、认证或虚拟主机错误,不能把查询失败解释成“队列为空”。

根据观察结果选择修复

messages_ready 表示可投递消息数,messages_unacknowledged 表示已经投递但尚未确认的消息数,consumers 表示消费者数。这些是队列级统计,不是事件查询结果。([RabbitMQ][7])

观察结果 优先验证 修复方向
目标绑定缺失或路由键不匹配 实际发布参数及发送时的配置 修正配置,再评估历史消息是否需要补发
待投递数量大于零,消费者为零 订阅失败、连错环境或队列 恢复正确订阅,不先扩容 Broker
未确认数量持续不降 处理耗时、下游阻塞与确认逻辑 解除阻塞,核对业务结果后处理确认
待投递和未确认都为零 已消费、过期、死信或管理操作 转查历史证据,不直接判定未发送

拒绝且不重新入队、消息过期或队列长度限制等情况,可能触发死信处理;需要核对实际死信策略和对应目标,不能假定一定存在死信队列。([RabbitMQ][8])

若消费者采用自动确认,或者业务提交前就提前确认,消息离开队列也可能没有业务结果。修复时应检查确认时机,而不是把“队列已清空”当成恢复成功。([RabbitMQ][4])

用具体事件的业务结果结束排查

先保留修复前后的证据,再通过正常业务入口在测试环境产生一个新事件:应能对应发布结果、目标消费者处理记录和业务凭据。新事件通过只证明当前链路可用,不能替代历史事件的核对。

历史事件是否补发,要先核查已有业务效果,并确认消费者具备幂等保护。建议重放同一事实时保留原事件标识,同时记录新的发送尝试;确认超时尤其不能被当作“绝未送达”而直接生成新事件重复执行。

最终记录应说明:事件身份、最后可确认的环节、缺失的证据、根因、修复动作及业务验收结果。若留存窗口内也找不到必要记录,应写“现有证据无法确认历史去向”,而不是凭队列当前为空给出确定结论。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

消息查不到先检查哪一段

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通