消息队列 / 知识点

RabbitMQ 开发与排障手册

手册条目

识别内存高水位、分页和连接阻塞,并安全降低压力。

处理 RabbitMQ 内存告警

用于 rabbitmq-diagnostics alarms 报告内存告警、管理界面出现 Memory alarm,或生产端发布与 confirm 延迟突然升高的场景。目标是先找出告警节点和主要内存类别,再通过限制入口、保持消费、减少未确认消息与连接泄漏让水位回落,而不是先把阈值调高。

告警影响与判断重点

内存水位是触发发布限流的阈值,不是进程的硬上限;超过阈值后,告警会传播为集群级保护,发布连接进入 blocking 或 blocked,纯消费连接仍可继续取消息并确认。RabbitMQ 4.3 文档中的默认阈值约为可用内存的 60%,而 3.13 文档为约 40%,必须以当前版本的有效配置为准。:contentReference[oaicite:0]{index=0}

RabbitMQ 内存告警与恢复流程

state=flow 通常表示瞬时背压,不等同于资源告警;state=blocked 与集群告警同时出现时,才优先按内存或磁盘保护处理。混合生产与消费的同一连接也可能整体受阻,因此关键消费者最好不要与高流量生产者复用连接。

快速诊断

在发生告警的节点执行以下命令;集群使用长节点名时补充 --longnames 或 -n rabbit@<NODE>。memory_breakdown 应作为定位内存来源的第一步,输出值是采样近似值。:contentReference[oaicite:1]{index=1}

bash
rabbitmq-diagnostics -q alarms
rabbitmq-diagnostics -q memory_breakdown --unit MB
rabbitmqctl -q list_connections name state channels send_pend
rabbitmqctl -q list_channels connection consumer_count messages_unacknowledged messages_unconfirmed prefetch_count

预期输出

text
<当前集群资源告警列表;无告警时为空>
connection_other: 50.18 mb (22.1%)
allocated_unused: 43.7058 mb (19.25%)
name	state	channels	send_pend
<CONNECTION>	blocked	<CHANNELS>	<SEND_PEND>
connection	consumer_count	messages_unacknowledged	messages_unconfirmed	prefetch_count
<CONNECTION_PID>	<CONSUMERS>	<UNACKED>	<UNCONFIRMED>	<PREFETCH>

connection_* 高通常指向连接或通道数量、TCP 缓冲及客户端泄漏;queue_procs、binary 或队列副本相关类别高,通常与消息体、积压或副本状态有关;messages_unacknowledged 高说明消息已投递但未确认,过大的 prefetch_count 会放大消费者侧和 Broker 侧压力。

安全降压顺序

  1. 先暂停、降速或按租户限流生产端,避免客户端在阻塞后无上限重试;保留消费者运行,让已入队消息继续被处理和确认。
  2. 检查未确认消息和消费延迟。若 messages_unacknowledged 持续增大,先修复卡住的消费者,再降低新消费者的 prefetch;不要批量关闭通道造成大规模 requeue。
  3. 若连接或通道类别占比最高,按应用名、用户和来源地址识别泄漏连接,分批关闭并修复连接池;不要直接执行全量关闭连接。
  4. 若队列或二进制内存占比最高,扩容消费者或临时降低入口速率。只有获得业务确认后才能清空队列;默认做法是排空而不是 purge。
  5. 若运行在容器中且 RabbitMQ 识别到的可用内存与 cgroup 限额不一致,再评估绝对阈值。绝对值必须为 Erlang VM、内核页缓存、插件和突发留出余量。

持久配置示例用于容器内存上限为 6 GiB、评审后决定在 4 GiB 触发保护的场景。配置文件变更需按部署方式滚动重启并重新验证,不要在告警期间盲目上调。

ini
vm_memory_high_watermark.absolute = 4GiB

生效行为与验证:节点重启后在 rabbitmq-diagnostics status 或管理 API 中确认有效 mem_limit,并持续观察 RSS、队列积压和告警状态;绝对阈值是容器环境的优先选择,因为节点不一定总能正确识别 cgroup 限额。:contentReference[oaicite:2]{index=2}

风险与恢复验证

直接提高阈值会在真实内存压力下推迟保护,后果可能是 OOM Killer 终止节点、队列副本重选和连接风暴;安全替代是先限流入口、排空积压、修复泄漏或增加内存。重启节点只能暂时释放内存,并可能把负载和副本恢复压力转移到其他节点,除非已确认滚动容量,否则不要把重启当作首选。

内存分页会把压力转移到磁盘,磁盘空间或 I/O 已紧张时可能进一步触发磁盘告警。恢复后必须确认集群告警为空、连接不再处于 blocked,且内存曲线持续下降而非只在阈值附近反复抖动。

bash
if [ -z "$(rabbitmq-diagnostics -q alarms)" ]; then
  echo "CLUSTER_ALARMS=none"
else
  echo "CLUSTER_ALARMS=present"
fi
rabbitmqctl -s list_connections state | sort | uniq -c

预期输出

text
CLUSTER_ALARMS=none
<COUNT> running

若仍出现 blocked、内存持续上升或告警短时间反复触发,继续检查生产速率、消费确认、连接泄漏和磁盘 I/O,不要仅依赖一次命令成功判断恢复。

目录与阅读设置

记录一个想法

RabbitMQ 开发与排障手册

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通