Redis 与缓存 / 技术文章
Redis Streams 消费组为什么会卡在 Pending
Redis Streams 消费组出现 Pending 堆积时,真正需要解决的是“消息已经投递给谁、为什么还没有确认、是否还能被当前消费者正常处理”。这篇文章面向负责异步任务和消息消费稳定性的后端工程师、SRE,重点建立从 PEL、消费者状态到业务处理和 ACK 的判断链路,最终能够区分正常处理中的 Pending、消费者异常造成的 Pending,以及业务执行后未确认造成的重复风险,并选择合适的恢复动作。
先建立判断:Pending 不等于消息积压
Consumer Group 中的 Pending Entries List(PEL)记录的是已经投递给消费者、但尚未被 XACK 确认的消息。因此,看到 Pending 数量上升,第一反应不应该是“Stream 积压了”,而应该是“哪些消息已经被投递但还没有完成确认”。
典型链路是:XREADGROUP 读取消息 → 消息进入 PEL → 消费者执行处理 → 业务成功 → XACK → 消息从 PEL 中移除。
这意味着 Pending 增长至少可能对应三种状态:消费者正在正常处理、消费者处理速度下降、消费者已经失活但消息仍归属于它。还有一种常见情况是业务动作已经完成,但进程在 XACK 前崩溃,消息因此继续留在 Pending 中。
所以排查时需要同时看三个面:Stream 中有没有新增消息、Consumer Group 的消费进度是否前进、Pending 是否持续增长。只有把这三者放在一起,才能判断到底是生产变快、消费变慢,还是确认链路出了问题。
看清 PEL 到底记录了什么
PEL 不是一个简单的“失败消息列表”,而是消费组对未确认投递的状态记录。每条 Pending 消息至少要关注消息 ID、所属消费者、空闲时间以及投递次数等信息。
其中,消息归属消费者非常关键。若大量 Pending 集中在一个已经不再活跃的消费者上,通常比“所有消费者平均都有 Pending”更值得警惕。前者往往意味着消费者异常退出、网络隔离或处理协程失效;后者更可能只是业务处理变慢或流量突然增加。
可以先使用下面的命令观察消费组的整体状态:
redis-cli XINFO GROUPS orders
redis-cli XPENDING orders order-workers预期结果
name=order-workers
consumers=<VALUE>
pending=<VALUE>
last-delivered-id=<ID>
1) <VALUE>
2) <ID>
3) <ID>
4) <ID>XINFO GROUPS 用于观察消费组级别的 Pending 数量、消费者数量和 last-delivered-id;XPENDING 可以进一步确认 Pending 的数量和分布。这里最重要的判断不是某个数字是否大,而是这些状态是否在持续变化,以及变化方向是否符合业务流量。
为什么消费者会一直卡在 Pending
最常见的原因是“读取成功,但确认没有完成”。消费者通过 XREADGROUP 获取消息后,Redis 会把消息放入对应消费组的 PEL。只要没有成功执行 XACK,它就会继续处于 Pending。
第一类情况是业务处理时间本来就很长。例如一个任务读取后需要调用多个下游服务,处理窗口远大于正常消息到达间隔。此时 Pending 并不一定是故障,但如果处理时延持续扩大,最终会演变成真实堆积。
第二类情况是消费者进程异常退出。消息已经被分配给 worker-a,但 worker-a 在处理过程中宕机,消息不会因为进程退出而自动从 PEL 消失,因此会长期停留在 Pending。
第三类情况是业务代码执行成功,但在 XACK 之前发生异常。例如数据库事务已经提交,进程随后崩溃;Redis 仍然认为消息没有确认。恢复后重新接管消息,就可能再次执行业务动作,因此这类系统必须配合幂等设计。
第四类情况是消费者没有真正“卡死”,而是处理线程、协程池或下游依赖出现阻塞。Redis 层看起来只是 Pending 增长,但根因可能在数据库连接池、HTTP 超时、锁等待或外部服务延迟。
用空闲时间区分正常 Pending 与失活 Pending
排查 Pending 时,不能只看数量,还要看消息空闲时间。一个刚刚被读取的消息,即使暂时处于 Pending,也可能完全正常;一个已经长时间没有再次处理迹象的消息,则更可能需要接管。
可以按消息范围查看 Pending 详情:
redis-cli XPENDING orders order-workers - + 20预期结果
<ID-1> <ID-1> <VALUE> worker-a
<ID-2> <ID-2> <VALUE> worker-a
<ID-3> <ID-3> <VALUE> worker-b排查时重点关注:同一个消费者是否长期占有大量 Pending;空闲时间是否持续增长;不同消费者之间是否出现明显不均衡;投递次数是否已经高到说明消息反复失败。
如果 Pending 数量高,但大多数消息的空闲时间很短,并且消费者处理日志持续前进,那么更像是正常处理中的瞬时状态。反过来,如果某个消费者的 Pending 长时间不变化,同时该消费者实例已经不再存活,那么继续等待通常不会改善状态。
消费者失活后,为什么需要接管而不是重新读取
很多故障处理误区是把 Pending 消息当成“还没消费过的消息”,再用 XREADGROUP ... > 等待新消息。实际上,> 读取的是尚未向任何消费者投递的新消息,不会自动把旧的 Pending 消息重新变成待消费消息。
因此,消费者故障后的正确方向不是重新消费一遍整个 Stream,而是先识别长期空闲的 Pending,再把这些消息转移到仍然存活的消费者。
较新的 Redis 版本可以使用 XAUTOCLAIM 做自动接管。例如:
redis-cli XAUTOCLAIM orders order-workers worker-b <VALUE> 0-0 COUNT 20预期结果
1) <ID>
2) <VALUE>
3) 1) <ID-1>
2) 1) field
2) value其中 <VALUE> 代表最小空闲时间阈值,只有达到该阈值的 Pending 消息才会进入接管范围。这样可以避免消费者之间过早抢夺仍在正常处理中的消息。
接管之后,新的消费者还需要像正常消费一样完成业务处理,并在业务成功后执行 XACK。接管只是改变消息的处理归属,不等于消息已经处理成功。
判断是不是 ACK 链路出了问题
有些系统的 Pending 会持续增长,但消费者、下游依赖和业务处理都正常,此时应重点检查确认逻辑。
推荐把代码结构固定成“处理成功之后再 ACK”,而不是读取后立即确认:
XREADGROUP
-> 校验消息
-> 执行业务动作
-> 确认业务成功
-> XACK对应到代码层面,至少要确保以下约束成立:业务失败时不要误 ACK;业务成功后必须到达 ACK 分支;异常处理不能吞掉 ACK 错误;ACK 失败需要有可观测日志;重新处理 Pending 时业务操作必须具备幂等能力。
可以用一个最小命令验证某条消息是否仍在 Pending:
redis-cli XPENDING orders order-workers <ID> <ID> 1预期结果
<ID> <VALUE> <VALUE> worker-b如果业务日志显示处理已经完成,但消息仍然存在于 Pending 中,应继续检查 XACK 是否执行、连接是否异常、事务边界是否正确,以及 ACK 失败后程序是否仍然认为本次任务成功。
一套线上排障顺序
面对“Pending 卡住”的告警,建议固定按照从 Redis 状态到业务状态的顺序判断。
先看 Stream 是否持续产生新消息,再看消费组的 last-delivered-id 是否持续前进;随后检查 Pending 数量是否增长,以及 Pending 是否集中在某个消费者;接着查看消息空闲时间和投递次数,判断它们是在正常处理、等待下游,还是已经长期失活;最后进入应用日志和下游依赖,验证业务动作是否执行、是否在 ACK 前失败。
可以把常见现象快速归纳为以下判断表:
| 现象 | 更可能的原因 | 优先检查 |
|---|---|---|
| Pending 少量波动且空闲时间短 | 正常处理中 | 业务处理耗时 |
| Pending 持续增长且所有消费者都忙 | 消费速度低于生产速度 | 吞吐、批量读取、下游耗时 |
| Pending 集中在失活消费者 | 消费者故障 | 消费者存活状态、接管 |
| 业务已成功但 Pending 不消失 | ACK 链路异常 | XACK、连接与异常处理 |
| 同一消息投递次数持续增加 | 重试或反复失败 | 幂等、失败原因、重试策略 |
真正需要避免的是只用“Pending 数量大”作为故障判据。稳定的 Redis Streams 系统应该把 Pending 数量、Pending 空闲时间、消费者存活状态、业务处理耗时和 ACK 成功率结合起来观察。
最终的处理原则可以归纳成一句话:Pending 表示“已投递但未确认”,不是简单的“未消费”;先判断消费者是否仍在工作,再判断业务是否已经完成,最后决定等待、重试、接管还是转移到失败流。这样才能避免把正常处理误判成故障,也能在真正的消费者失活时快速恢复消费链路。