Redis 与缓存 / 系统课时

排查 Pending 堆积

排查 Pending 堆积

本课解决消费组 Pending Entries List(PEL)持续增长的问题。你将用 XPENDING、XINFO CONSUMERS 和 ACK 验证,把“消费者失活、处理变慢、业务成功但未 ACK”三类情况区分开,再决定是等待、修复 ACK,还是接管超时消息。

学习目标

  • 能用 XPENDING 和 XINFO CONSUMERS 判断 Pending 是否持续堆积
  • 能区分消费者故障、处理变慢与 ACK 链路异常
  • 能根据消息空闲时间、投递次数和消费者状态选择恢复动作

先确认是不是持续堆积

Pending 是已经交付给某个消费组消费者、但尚未被 XACK 确认的消息集合。它不等于 Stream 中“还没被消费”的消息总量,也不等于消费组的完整 backlog。排查时先连续采样,而不是根据一次快照下结论。

下面把本课需要的命令合并成一组主诊断流程。命令依赖已经存在的 orders Stream、group-orders 消费组和 consumer-a 消费者;执行 ACK 前要把 <ID> 替换为实际 Pending 消息 ID。其余尖括号内容均表示动态结果,实际值可能不同。

bash
redis-cli XPENDING orders group-orders
redis-cli XINFO CONSUMERS orders group-orders
redis-cli XPENDING orders group-orders - + 10 consumer-a
redis-cli XACK orders group-orders <ID>
redis-cli XPENDING orders group-orders

预期结果

text
1) (integer) <PENDING_COUNT>
2) "<LOWEST_ID>"
3) "<HIGHEST_ID>"
4) 1) 1) "consumer-a"
      2) (integer) <CONSUMER_A_PENDING>

1) 1) "name"
   2) "consumer-a"
   3) "pending"
   4) (integer) <PENDING_A>
   5) "idle"
   6) (integer) <IDLE_MS_A>

1) 1) "<ID>"
   2) "consumer-a"
   3) (integer) <IDLE_MS>
   4) (integer) <DELIVERY_COUNT>

(integer) 1

1) (integer) <PENDING_COUNT_AFTER_ACK>
2) "<LOWEST_ID_AFTER_ACK>"
3) "<HIGHEST_ID_AFTER_ACK>"
4) 1) 1) "consumer-a"
      2) (integer) <CONSUMER_A_PENDING_AFTER_ACK>

这里假设 ACK 后组内仍有其他 Pending,所以第二次摘要仍有最小、最大 ID。判断趋势时至少比较两次采样:总 Pending 持续上升才说明积压在扩大;总量稳定且老消息持续被确认,更可能只是正常的在途处理。

定位哪个消费者持有消息

XINFO CONSUMERS 用来判断 Pending 是否集中在少数消费者。若某个消费者长期持有大量 Pending,且 idle 持续增大,可以优先检查它是否宕机、卡死或消费循环失活,但不要只凭一次 idle 数值就认定故障。

如果多个消费者的 Pending 都同步增长,要继续比较生产速度、单条处理耗时和 ACK 成功情况。它可能是整体处理能力不足,也可能是所有消费者共同经过的 ACK 链路出现异常。

用消息级信息区分根因

XPENDING orders group-orders - + 10 consumer-a 会返回消息级的 idle time 与 delivery count。它们适合判断“消息有没有继续前进”,但不能把 delivery count 高简单等同于 ACK 失败。

  • 大量老消息的 idle time 持续增大,同时对应消费者长期没有处理进展:偏向消费者失活或处理线程卡住。
  • Pending 稳步上涨,但旧消息仍不断被 ACK、消费者持续工作:偏向处理速度低于生产速度。
  • 少量消息的 delivery count 很高:说明这些消息被重复投递、接管或重试,优先检查业务失败与重试策略。
  • 业务已经成功,但消息仍长期停留在 PEL,delivery count 甚至可能仍为 1:优先检查 XACK 是否执行,以及 Stream、组名和消息 ID 是否正确。

Pending 堆积排查分支流程

验证 ACK 是否闭环

正常路径是“读取消息 → 处理业务 → 成功 ACK”。如果业务已经完成,但 Pending 长期不下降,就检查 ACK 是否真的落到了当前 Stream、消费组和消息 ID 上。

主示例中的 XACK orders group-orders <ID> 返回 1,表示这条消息确实从 group-orders 的 PEL 中被确认;返回 0 则表示该组的 PEL 中没有找到这条待确认消息,常见原因包括已经 ACK、ID 写错、组名写错或操作了错误的 Stream。XACK 只移除 Pending 状态,不会删除 Stream 中的原始消息。

选择恢复动作

消费者明确失效、消息超过业务允许的 idle 时间且原处理不会继续推进时,再考虑用 XAUTOCLAIM 或 XCLAIM 把消息交给健康消费者;消费者仍正常工作,只是吞吐不足时,应优先降低单条处理耗时、增加并行消费能力或削峰,而不是抢占仍在处理的消息。

排查 Pending 堆积时,真正要串起来的是三个问题:Pending 是否持续增长、老消息是否持续前进、业务成功后是否完成 ACK。这三项证据能够把正常在途、处理变慢、消费者故障和 ACK 异常区分开,避免误接管和重复处理。

按自己的节奏,确认真正理解。

目录与阅读设置

记录一个想法

排查 Pending 堆积

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通