Redis 与缓存 / 系统课时
控制 Stream 长度
控制 Stream 长度
本课解决 Redis Streams 数据长期增长的问题。你将用 MAXLEN 在写入时或通过 XTRIM 主动裁剪旧记录,理解精确与近似裁剪的边界,并处理 Redis 8.2 以后裁剪与消费者组 PEL 引用之间的关系。
学习目标
- 能使用
MAXLEN控制 Stream 的记录数量,并知道它不是持久化保留策略 - 能根据写入压力选择精确裁剪或近似裁剪,并验证实际长度
- 能理解 Redis 8.2+ 中
KEEPREF、DELREF与ACKED对消费者组引用的影响
MAXLEN 是一次操作的裁剪策略
MAXLEN 控制 Stream 中保留的记录数量,但它是 XADD 或 XTRIM 当前命令的裁剪参数,不会给 Stream 永久挂上一条“最多 N 条”的配置。某次 XADD 带上 MAXLEN 时,Redis 会在这次追加路径上尝试裁剪;后续写入如果不再携带 MAXLEN,Stream 仍然可以继续增长。
精确裁剪写作 MAXLEN 1000,等价于显式写 MAXLEN = 1000。当当前长度高于阈值时,它会把长度裁到阈值;近似裁剪写作 MAXLEN ~ 1000,优先按内部节点边界批量删除,因此成本通常更低,但结果允许暂时高于 1000。
| 方式 | 语法 | 长度约束 | 更适合 |
|---|---|---|---|
| 精确裁剪 | MAXLEN 1000 |
高于阈值时裁到指定上限 | 对条数上限要求更严格 |
| 近似裁剪 | MAXLEN ~ 1000 |
允许暂时超过目标值 | 高频写入、优先降低裁剪开销 |
用一个实验验证两种裁剪
下面先创建 1100 条测试记录,用 XTRIM 做一次精确裁剪,再在下一次 XADD 中使用近似裁剪。示例会删除已有的 orders,只应在测试环境执行。
redis-cli DEL orders >/dev/null
for i in $(seq 1 1100); do
redis-cli XADD orders "*" order_id "$i" status CREATED >/dev/null
done
redis-cli XTRIM orders MAXLEN 1000
redis-cli XLEN orders
redis-cli XADD orders MAXLEN ~ 1000 "*" order_id 1101 status CREATED
redis-cli XLEN orders预期输出
(integer) 100
(integer) 1000
"<ID>"
(integer) <LENGTH><ID> 是 Redis 生成的消息 ID,实际值会不同;<LENGTH> 是近似裁剪后的实际长度,它不保证恰好为 1000,可能暂时高于目标值。这个结果也说明:MAXLEN ~ 的目标是以较低成本把长度维持在目标附近,而不是每次写入后都得到严格相等的条数。
如果生产者无法统一在每次 XADD 中携带裁剪参数,也可以由维护任务定期执行 XTRIM orders MAXLEN ~ 1000。两种做法控制的是同一个 Stream 数据集合,但触发裁剪的时机不同。
裁剪与消费者组引用要分开看
裁剪 Stream 记录不等于“所有消费组都已处理完这些消息”。从 Redis 8.2 开始,XADD 与 XTRIM 可以用 KEEPREF、DELREF、ACKED 明确指定裁剪时如何处理消费者组的 PEL 引用;不指定时默认使用 KEEPREF,以保持兼容行为。
| 策略 | Stream 记录 | 消费者组 PEL 引用 | 典型含义 |
|---|---|---|---|
KEEPREF |
按裁剪策略删除 | 保留已有引用 | 默认行为,记录可能已被裁掉但 PEL 引用仍存在 |
DELREF |
按裁剪策略删除 | 同时删除相关引用 | 接受裁剪时一并清理待处理引用 |
ACKED |
只删除已被所有消费组确认的记录 | 未满足确认条件的记录会阻止删除 | 更强调消费完成后再回收 |
评估保留窗口,而不是只盯着条数
控制 Stream 长度前至少要回答三个问题:业务需要回溯多久、消费者最长可能停顿多久、故障排查需要保留多少历史记录。假设稳定写入速度约为每分钟 2000 条,那么 1000 条只对应约 30 秒的数据;即使内存压力很低,这个窗口也可能不足以覆盖消费者恢复时间。
MAXLEN 按条数控制保留量,无法保证固定时间窗口,因为流量高峰和低峰下,同样 1000 条对应的时间跨度不同。如果业务真正关心“保留到某个消息 ID 之后”,应进一步评估 MINID,而不是把条数上限误当成时间保留策略。
选择能够恢复的上限
高频写入场景通常优先使用 MAXLEN ~,再根据实际写入速率和最长故障时间给目标值留出余量;必须严格限制条数时再使用精确裁剪。无论采用哪种方式,都要确认每条写入路径是否持续携带裁剪参数,或者是否有独立的 XTRIM 维护任务。
如果系统使用消费者组,还要把 Redis 版本和 PEL 引用策略纳入设计:默认 KEEPREF 适合保持兼容,DELREF 会同步清理引用,ACKED 则把“所有组已经确认”纳入可删除条件。最终阈值应同时满足内存预算、追溯窗口和消费者故障恢复需求,而不是只追求一个固定的 XLEN 数字。