Redis 与缓存 / 技术文章

Redis Streams 消费组为什么会卡在 Pending

Redis Streams 消费组出现 Pending 堆积时,真正需要解决的是“消息已经投递给谁、为什么还没有确认、是否还能被当前消费者正常处理”。这篇文章面向负责异步任务和消息消费稳定性的后端工程师、SRE,重点建立从 PEL、消费者状态到业务处理和 ACK 的判断链路,最终能够区分正常处理中的 Pending、消费者异常造成的 Pending,以及业务执行后未确认造成的重复风险,并选择合适的恢复动作。

先建立判断:Pending 不等于消息积压

Consumer Group 中的 Pending Entries List(PEL)记录的是已经投递给消费者、但尚未被 XACK 确认的消息。因此,看到 Pending 数量上升,第一反应不应该是“Stream 积压了”,而应该是“哪些消息已经被投递但还没有完成确认”。

典型链路是:XREADGROUP 读取消息 → 消息进入 PEL → 消费者执行处理 → 业务成功 → XACK → 消息从 PEL 中移除。

这意味着 Pending 增长至少可能对应三种状态:消费者正在正常处理、消费者处理速度下降、消费者已经失活但消息仍归属于它。还有一种常见情况是业务动作已经完成,但进程在 XACK 前崩溃,消息因此继续留在 Pending 中。

所以排查时需要同时看三个面:Stream 中有没有新增消息、Consumer Group 的消费进度是否前进、Pending 是否持续增长。只有把这三者放在一起,才能判断到底是生产变快、消费变慢,还是确认链路出了问题。

看清 PEL 到底记录了什么

PEL 不是一个简单的“失败消息列表”,而是消费组对未确认投递的状态记录。每条 Pending 消息至少要关注消息 ID、所属消费者、空闲时间以及投递次数等信息。

其中,消息归属消费者非常关键。若大量 Pending 集中在一个已经不再活跃的消费者上,通常比“所有消费者平均都有 Pending”更值得警惕。前者往往意味着消费者异常退出、网络隔离或处理协程失效;后者更可能只是业务处理变慢或流量突然增加。

可以先使用下面的命令观察消费组的整体状态:

bash
redis-cli XINFO GROUPS orders
redis-cli XPENDING orders order-workers

预期结果

text
name=order-workers
consumers=<VALUE>
pending=<VALUE>
last-delivered-id=<ID>

1) <VALUE>
2) <ID>
3) <ID>
4) <ID>

XINFO GROUPS 用于观察消费组级别的 Pending 数量、消费者数量和 last-delivered-id;XPENDING 可以进一步确认 Pending 的数量和分布。这里最重要的判断不是某个数字是否大,而是这些状态是否在持续变化,以及变化方向是否符合业务流量。

为什么消费者会一直卡在 Pending

最常见的原因是“读取成功,但确认没有完成”。消费者通过 XREADGROUP 获取消息后,Redis 会把消息放入对应消费组的 PEL。只要没有成功执行 XACK,它就会继续处于 Pending。

第一类情况是业务处理时间本来就很长。例如一个任务读取后需要调用多个下游服务,处理窗口远大于正常消息到达间隔。此时 Pending 并不一定是故障,但如果处理时延持续扩大,最终会演变成真实堆积。

第二类情况是消费者进程异常退出。消息已经被分配给 worker-a,但 worker-a 在处理过程中宕机,消息不会因为进程退出而自动从 PEL 消失,因此会长期停留在 Pending。

第三类情况是业务代码执行成功,但在 XACK 之前发生异常。例如数据库事务已经提交,进程随后崩溃;Redis 仍然认为消息没有确认。恢复后重新接管消息,就可能再次执行业务动作,因此这类系统必须配合幂等设计。

第四类情况是消费者没有真正“卡死”,而是处理线程、协程池或下游依赖出现阻塞。Redis 层看起来只是 Pending 增长,但根因可能在数据库连接池、HTTP 超时、锁等待或外部服务延迟。

用空闲时间区分正常 Pending 与失活 Pending

排查 Pending 时,不能只看数量,还要看消息空闲时间。一个刚刚被读取的消息,即使暂时处于 Pending,也可能完全正常;一个已经长时间没有再次处理迹象的消息,则更可能需要接管。

可以按消息范围查看 Pending 详情:

bash
redis-cli XPENDING orders order-workers - + 20

预期结果

text
<ID-1> <ID-1> <VALUE> worker-a
<ID-2> <ID-2> <VALUE> worker-a
<ID-3> <ID-3> <VALUE> worker-b

排查时重点关注:同一个消费者是否长期占有大量 Pending;空闲时间是否持续增长;不同消费者之间是否出现明显不均衡;投递次数是否已经高到说明消息反复失败。

如果 Pending 数量高,但大多数消息的空闲时间很短,并且消费者处理日志持续前进,那么更像是正常处理中的瞬时状态。反过来,如果某个消费者的 Pending 长时间不变化,同时该消费者实例已经不再存活,那么继续等待通常不会改善状态。

消费者失活后,为什么需要接管而不是重新读取

很多故障处理误区是把 Pending 消息当成“还没消费过的消息”,再用 XREADGROUP ... > 等待新消息。实际上,> 读取的是尚未向任何消费者投递的新消息,不会自动把旧的 Pending 消息重新变成待消费消息。

因此,消费者故障后的正确方向不是重新消费一遍整个 Stream,而是先识别长期空闲的 Pending,再把这些消息转移到仍然存活的消费者。

较新的 Redis 版本可以使用 XAUTOCLAIM 做自动接管。例如:

bash
redis-cli XAUTOCLAIM orders order-workers worker-b <VALUE> 0-0 COUNT 20

预期结果

text
1) <ID>
2) <VALUE>
3) 1) <ID-1>
   2) 1) field
      2) value

其中 <VALUE> 代表最小空闲时间阈值,只有达到该阈值的 Pending 消息才会进入接管范围。这样可以避免消费者之间过早抢夺仍在正常处理中的消息。

接管之后,新的消费者还需要像正常消费一样完成业务处理,并在业务成功后执行 XACK。接管只是改变消息的处理归属,不等于消息已经处理成功。

判断是不是 ACK 链路出了问题

有些系统的 Pending 会持续增长,但消费者、下游依赖和业务处理都正常,此时应重点检查确认逻辑。

推荐把代码结构固定成“处理成功之后再 ACK”,而不是读取后立即确认:

text
XREADGROUP
  -> 校验消息
  -> 执行业务动作
  -> 确认业务成功
  -> XACK

对应到代码层面,至少要确保以下约束成立:业务失败时不要误 ACK;业务成功后必须到达 ACK 分支;异常处理不能吞掉 ACK 错误;ACK 失败需要有可观测日志;重新处理 Pending 时业务操作必须具备幂等能力。

可以用一个最小命令验证某条消息是否仍在 Pending:

bash
redis-cli XPENDING orders order-workers <ID> <ID> 1

预期结果

text
<ID> <VALUE> <VALUE> worker-b

如果业务日志显示处理已经完成,但消息仍然存在于 Pending 中,应继续检查 XACK 是否执行、连接是否异常、事务边界是否正确,以及 ACK 失败后程序是否仍然认为本次任务成功。

一套线上排障顺序

面对“Pending 卡住”的告警,建议固定按照从 Redis 状态到业务状态的顺序判断。

先看 Stream 是否持续产生新消息,再看消费组的 last-delivered-id 是否持续前进;随后检查 Pending 数量是否增长,以及 Pending 是否集中在某个消费者;接着查看消息空闲时间和投递次数,判断它们是在正常处理、等待下游,还是已经长期失活;最后进入应用日志和下游依赖,验证业务动作是否执行、是否在 ACK 前失败。

可以把常见现象快速归纳为以下判断表:

现象 更可能的原因 优先检查
Pending 少量波动且空闲时间短 正常处理中 业务处理耗时
Pending 持续增长且所有消费者都忙 消费速度低于生产速度 吞吐、批量读取、下游耗时
Pending 集中在失活消费者 消费者故障 消费者存活状态、接管
业务已成功但 Pending 不消失 ACK 链路异常 XACK、连接与异常处理
同一消息投递次数持续增加 重试或反复失败 幂等、失败原因、重试策略

真正需要避免的是只用“Pending 数量大”作为故障判据。稳定的 Redis Streams 系统应该把 Pending 数量、Pending 空闲时间、消费者存活状态、业务处理耗时和 ACK 成功率结合起来观察。

最终的处理原则可以归纳成一句话:Pending 表示“已投递但未确认”,不是简单的“未消费”;先判断消费者是否仍在工作,再判断业务是否已经完成,最后决定等待、重试、接管还是转移到失败流。这样才能避免把正常处理误判成故障,也能在真正的消费者失活时快速恢复消费链路。

目录与阅读设置

记录一个想法

Redis Streams 消费组为什么会卡在 Pending

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通