Redis 与缓存 / 系统课时

识别消费积压

识别消费积压

本课解决 Redis Streams 消息持续增长时如何判断积压发生在哪一段。通过 Stream 总量、消费组尚未领取的消息和 Pending 未确认消息建立统一口径,避免把“记录很多”“没来得及领取”和“领取后没确认”混为一谈。

学习目标

  • 能结合 Stream 长度、消费组进度和 Pending 判断积压位置
  • 能区分尚未领取的积压与领取后未确认的积压
  • 能用 Redis 命令建立一次可重复的积压检查基线

三个指标分别回答什么

XLEN 返回 Stream 当前保留的记录数量,它包含已经被消费组处理过但仍未删除的记录,因此不能直接当作消费组积压量。同一个 Stream 还可以被多个消费组独立消费,各组的处理进度也可能完全不同。

XINFO GROUPS 用来观察消费组的交付进度。Redis 7.0 及以上提供 entries-read 和 lag:lag 表示该组仍等待交付的条目数,last-delivered-id 表示最近一次交付到哪里。XPENDING 关注的是另一阶段:消息已经交给消费者,但还没有通过 XACK 确认。

Redis Streams 消费积压的三个观测面:Stream 总量、消费组进度与 Pending 消息

因此可以把积压拆成两段理解:lag 增长说明消息还来不及交付给消费组;pending 增长说明消息已经交付,但处理或确认没有及时完成。Stream 长度主要提供整体数据规模背景。

用 Redis 命令建立现场基线

下面假设 Stream 为 orders,消费组为 order-workers,并且消费组已经存在。连续采样时应重复执行同一组命令,而不是只保留一次快照。

bash
redis-cli <<'EOF'
XLEN orders
XINFO GROUPS orders
XPENDING orders order-workers
EOF

预期输出

text
(integer) 12000
1)  1) "name"
    2) "order-workers"
    3) "consumers"
    4) (integer) 3
    5) "pending"
    6) (integer) 850
    7) "last-delivered-id"
    8) "<LAST_DELIVERED_ID>"
    9) "entries-read"
   10) (integer) 11000
   11) "lag"
   12) (integer) 1000
1) (integer) 850
2) "<OLDEST_PENDING_ID>"
3) "<NEWEST_PENDING_ID>"
4) 1) 1) "worker-1"
      2) "300"
   2) 1) "worker-2"
      2) "280"
   3) 1) "worker-3"
      2) "270"

消息 ID、数量和消费者名称都会随现场变化。这里真正需要记录的是 XLEN、lag、pending 和 last-delivered-id 在多个时间点上的变化方向。Redis 7.0 之前没有 lag 字段;在 Redis 7.0 及以上,如果消费组进度无法可靠推导,lag 也可能为 NULL。此时可结合 last-delivered-id 与 XINFO STREAM orders 的 last-generated-id 判断消费游标是否接近 Stream 尾部,但不要把两个 ID 的数值差直接当作消息条数。

用变化方向定位积压阶段

如果 lag 持续增加,而 last-delivered-id 仍在推进,说明消费组仍在领取消息,但交付速度追不上新增消息速度。仅凭 Redis 状态还不能断言一定是生产端突增还是消费者变慢,需要再比较生产速率、消费速率以及消费者实例和下游依赖指标。

如果 lag 不高,但 pending 持续增加,则瓶颈已经进入消费者处理阶段。常见原因包括业务处理耗时上升、下游调用阻塞、消费者异常退出,或者业务处理完成后没有及时执行 XACK。

如果 lag 和 pending 都比较稳定,而 XLEN 很大,不能据此认定存在消费积压。大量记录可能只是因为历史消息仍按保留策略存在于 Stream 中,此时应把消费问题与 XTRIM、MAXLEN 等数据保留策略分开判断。

连续采样比单次快照更可靠

排障时至少记录两到三个时间点,并保持采样间隔一致。重点观察 lag 是扩大还是缩小、pending 是否持续累积,以及 last-delivered-id 是否继续推进。一次快照只能说明当前状态,连续变化才能说明积压正在形成、维持还是恢复。

判断顺序可以固定为:先看消费组尚未领取的范围,再看已领取但未确认的 Pending,最后用 Stream 总长度补充整体规模。这样能够先确定积压发生在哪个阶段,再继续追查生产速率、消费者性能或确认链路,而不会把 XLEN 直接误认为待消费消息数。

按自己的节奏,确认真正理解。

目录与阅读设置

记录一个想法

识别消费积压

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通