Redis 与缓存 / 系统课时

排查消费停滞

排查消费停滞

本课建立一条从消费组进度、Pending Entries List(PEL)到业务处理与 ACK 的排障路径。完成后,你可以先判断消息停在“尚未投递”“已投递未处理完”还是“处理完成但未确认”,再进入对应环节修复。

学习目标

  • 能按消费组进度、PEL 和消费者状态定位停滞位置。
  • 能区分“当前没有积压”和“消费者没有继续领取消息”。
  • 能结合 pending、lag、idle 与 inactive 验证消费者是否健康。

先判断消息停在哪里

Streams 消费组的关键链路是:新消息进入 Stream,消费组把尚未投递的消息交给消费者,消息进入 PEL,业务处理完成后执行 XACK 将其从 PEL 移除。排障时先判断停在哪一段,不要一开始就进入业务代码。

Redis Streams 消费停滞排障判断链路

先读取组和消费者状态,再查看最老的一批 Pending。下面以 Redis 7.2+ 为例;该版本的 idle 表示距消费者最近一次尝试交互的毫秒数,inactive 表示距最近一次成功交互的毫秒数。更早版本没有 inactive,且 idle 的语义不同。

bash
redis-cli --raw XINFO GROUPS orders
redis-cli --raw XINFO CONSUMERS orders order-group
redis-cli --raw XPENDING orders order-group - + 10

预期结果

text
name
order-group
consumers
<VALUE>
pending
<VALUE>
last-delivered-id
<TIME>-<ID>
entries-read
<VALUE>
lag
<VALUE>
name
consumer-1
pending
<VALUE>
idle
<VALUE>
inactive
<VALUE>
<TIME>-<ID>
consumer-1
<VALUE>
<VALUE>

实际消费者数量、消息 ID 和毫秒值会不同;lag 在某些状态下也可能无法计算。XPENDING ... - + 10 的每条明细依次包含消息 ID、当前消费者、空闲毫秒数和投递次数,可用于确认是否存在长期未确认的旧消息。

用 lag 和 Pending 缩小范围

如果 lag 为 0 且 pending 也接近 0,消费组通常已经追上当前 Stream,此时阻塞式 XREADGROUP ... BLOCK 等待新消息是正常现象,不能仅凭“终端没有输出”判断消费者停滞。

如果业务确认生产端仍持续写入,而 lag 持续增长、pending 不增长,说明新消息没有继续交给消费者。优先检查消费者进程、Redis 连接、实际读取的 Stream 与 Group 名称,以及消费循环是否仍在执行 XREADGROUP。

如果 pending 持续增长,说明消息已经被领取,却没有及时完成 XACK。此时重点检查业务处理耗时、数据库慢查询、下游 HTTP 超时、线程池耗尽、异常重试,以及成功处理路径是否遗漏 ACK。

判断是否是单个消费者失效

XINFO CONSUMERS 中仍存在某个消费者名称,并不代表对应进程仍然健康。若 Pending 明显集中在一个消费者,同时其 inactive 持续增大,应进一步检查该实例是否还在产生业务结果和 ACK;同步处理模型中,处理线程长期卡住时,idle 往往也会一起增大。

修复后看趋势而不是单点

修复后复用前面的同一组命令连续观察。有效恢复的信号是:lag 不再持续扩大,新消息能够继续被领取;pending 不再单向增长,并随着 ACK 逐步下降;异常消费者重新产生成功交互,业务处理速率恢复到接近写入速率。

Pending 不必瞬间归零,历史任务可能仍需时间处理。排障的核心是先确定消息停在“投递前、领取后还是确认前”,再用消费组进度、PEL 趋势和业务处理结果共同验证修复。

按自己的节奏,确认真正理解。

目录与阅读设置

记录一个想法

排查消费停滞

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通