消息队列 / 系统课时

核心监控指标

核心监控指标

RabbitMQ 的监控不能只盯“队列里有多少消息”。真正有用的判断要把消息流量、Ready 与 Unacked、消费者、连接和信道,以及节点内存、磁盘和文件描述符放到同一条因果链上。本课建立一套能直接用于日常值守和告警设计的最小指标集。

学习目标

  • 用消息速率、队列状态和消费者状态判断积压发生在哪一段。
  • 识别连接、信道异常增长以及资源水位带来的风险。
  • 用 CLI 与 Prometheus 指标建立可重复的现场检查方法。

用一条因果链读指标

监控时先问“消息有没有进来”,再问“有没有被投递和确认”,最后才看节点资源是否限制了吞吐。单个瞬时值通常不够,尤其是消息速率和连接变化,更应该观察一段时间内的趋势、增长率和不同指标之间的相对关系。

观察层 核心指标 主要含义
消息流量 publish、deliver、ack、redeliver rate 判断生产速度、消费速度和重复投递是否失衡
队列 Ready、Unacked、总深度、消费者数 区分“还没投递”与“已投递但未确认”
客户端 连接数、信道数、连接/信道开关速率 发现连接抖动、频繁建连和信道泄漏
节点资源 内存、可用磁盘、文件描述符、TCP socket、Erlang 进程 判断 Broker 是否接近资源告警或系统上限

Ready 持续增长而消费者数下降,通常先检查消费者是否离线或处理能力不足;Unacked 持续增长而 Ready 不高,则更像消息已经送达但处理慢、ACK 延迟或 prefetch 设置过大。两者都增长时,需要同时比较 publish 与 ack 速率,确认积压是在入口过快还是消费端整体跟不上。

先用 CLI 获取现场快照

发生延迟或积压时,先拿到队列、连接和信道的即时状态。下面的命令不会替代长期监控,但很适合回答“现在到底卡在哪儿”。

bash
rabbitmqctl list_queues -p / name messages_ready messages_unacknowledged consumers
rabbitmqctl list_connections name user state channels
rabbitmqctl list_channels connection messages_unacknowledged consumer_count prefetch_count
rabbitmq-diagnostics alarms

预期输出

text
name          messages_ready  messages_unacknowledged  consumers
orders.work   <VALUE>         <VALUE>                  <VALUE>

name                   user    state    channels
<CONNECTION_NAME>      <USER>  running  <VALUE>

connection             messages_unacknowledged  consumer_count  prefetch_count
<CONNECTION_ID>        <VALUE>                  <VALUE>         <VALUE>

<ALARM_STATUS>

队列与客户端数量会随业务实时变化,因此这里用占位值表示。定位时重点看同一批数据之间的关系:例如某个队列 messages_ready 很高但 consumers 为 0,往往比单独看到“队列很深”更快指向根因。

用 Prometheus 保留趋势

RabbitMQ 4.3 自带 rabbitmq_prometheus 插件。默认 /metrics 适合低开销的聚合监控;当需要定位某个队列时,可以使用 /metrics/detailed 只请求需要的指标族,避免在对象很多的集群上频繁抓取所有逐对象指标。

bash
rabbitmq-plugins enable rabbitmq_prometheus
curl -s 'http://127.0.0.1:15692/metrics/detailed?family=queue_coarse_metrics&family=queue_consumer_count' | grep -E 'queue_messages_(ready|unacked)|queue_consumers'

预期输出

text
rabbitmq_detailed_queue_messages_ready{<LABELS>} <VALUE>
rabbitmq_detailed_queue_messages_unacked{<LABELS>} <VALUE>
rabbitmq_detailed_queue_consumers{<LABELS>} <VALUE>

如果环境要求保护监控端点,应再为 Prometheus 监听配置认证、TLS 或网络隔离。大规模集群不要默认开启所有逐对象指标;先用聚合指标发现异常,再按 vhost、队列或指标族下钻,通常更稳妥。

把速率和资源一起告警

消息速率本质上来自累计计数器的变化,应在 Prometheus 中使用 rate() 或 increase() 计算时间窗口内的速度。例如,发布速率可以基于 rabbitmq_detailed_exchange_messages_published_total,消费确认速率可以基于 rabbitmq_detailed_queue_messages_acked_total,不要直接把累计总数当作“每秒消息数”。

资源侧至少要同时看 rabbitmq_detailed_process_resident_memory_bytes 与 rabbitmq_detailed_resident_memory_limit_bytes、rabbitmq_detailed_disk_space_available_bytes 与 rabbitmq_detailed_disk_space_available_limit_bytes,以及文件描述符和 TCP socket 的已用值与上限。RabbitMQ 出现资源 alarm 时,发布者可能被阻塞,因此“publish rate 下降”有时是资源压力的结果,不一定是上游业务量下降。

常见组合信号

  • Ready 上升、消费者数为 0:优先排查消费者实例、订阅和连接恢复。
  • Unacked 上升、ACK rate 下降:检查消费耗时、阻塞调用、异常重试与 prefetch。
  • 连接 opened/closed 速率同时很高:通常意味着连接抖动或短连接反模式,应检查连接复用和网络稳定性。
  • 信道数持续增长但业务吞吐不变:检查信道是否被长期创建却没有关闭。
  • 内存或磁盘余量逼近限制并出现 alarm:先处理资源压力,再分析消息吞吐异常。

一套可操作的 RabbitMQ 监控面板,至少应该让值班人员从“流量是否正常”一路追到“队列在哪里积压、消费者是否确认、客户端是否抖动、节点是否触发资源限制”。只有这些指标能互相解释,告警才不只是噪声。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

核心监控指标

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通