Redis 与缓存 / 系统课时

规划消息保留策略

规划消息保留策略

本课解决 Redis Streams 消息“留多少、裁到哪里”的问题。你将先按补偿与故障恢复窗口确定安全边界,再选择 MAXLEN 或 MINID 控制在线数据规模,并把 Pending 与长期审计纳入裁剪门禁。

学习目标

  • 能根据业务恢复窗口确定 Stream 的保留边界
  • 能正确选择 XTRIM MAXLEN 与 XTRIM MINID
  • 能识别 Pending 消息被过早裁剪后的恢复风险

先确定保留边界

保留策略应从“还能不能恢复业务”倒推,而不是先拍一个 Redis 容量上限。只用于短期追平的 Stream,至少要覆盖最大故障恢复窗口;需要补偿最近几天订单,就要覆盖对应时间段;真正的长期审计,则不应只依赖 Redis。

Redis Streams 消息从热数据到裁剪与归档的生命周期

恢复窗口确定后,再决定用“条数”还是“ID 下界”表达裁剪边界。前者适合控制规模,后者适合已有明确水位的治理流程。

选择 MAXLEN 或 MINID

MAXLEN 适合“最近保留大约多少条”的场景;MINID 以给定 Stream ID 作为保留下界,更适合已经计算出安全水位的场景。使用精确模式时会删除低于边界的旧条目;两者都可以配合 ~ 使用近似裁剪,以减少频繁精确调整的成本。

bash
# 按数量近似保留最近 100000 条
redis-cli XTRIM orders-stream MAXLEN '~' 100000

# 按已计算出的 Stream ID 下界近似裁剪
MIN_ID='<ID>'
redis-cli XTRIM orders-stream MINID '~' "$MIN_ID"

预期结果

text
(integer) <TRIMMED_BY_MAXLEN>
(integer) <TRIMMED_BY_MINID>

两个返回值分别表示本次实际删除的条目数,具体数值取决于裁剪前的 Stream 状态。<ID> 必须替换为真实、已验证的 Stream ID 下界;不要把它简单当作“时间戳字符串”手写,因为 Stream ID 可以由客户端显式指定,未必等价于自然时间。

如果业务要求“精确保留 N 条”,可以使用精确裁剪,但代价通常高于近似裁剪。生产环境更常见的目标是控制规模和恢复窗口,而不是追求长度恰好等于某个值。

用恢复窗口估算规模

固定条数只有结合流量才有意义。假设平均每秒写入 200 条,那么一天约产生 17,280,000 条;此时保留 100,000 条只覆盖约 8 分钟,显然无法支撑 24 小时补偿。

因此应先定义最长补偿窗口,再根据实际峰值流量估算窗口内消息量,并留出故障处理缓冲。容量评估还要考虑字段和值的实际大小以及 Redis 结构开销,而不能只用“每条约 1 KB”去做绝对容量承诺。

把 Pending 纳入裁剪门禁

消费组的 Pending Entries List 与 Stream 条目不是同一份数据。条目被裁剪后,对应 Pending ID 仍可能存在,但原消息正文已经不可再取回;这时即使知道“还有一条未确认消息”,也可能失去重新处理所需的内容。

裁剪前至少同时检查 Stream 规模和重要消费组的 Pending 摘要:

bash
redis-cli XLEN orders-stream
redis-cli XPENDING orders-stream orders-g

预期结果

text
(integer) <STREAM_LENGTH>
1) (integer) <PENDING_COUNT>
2) "<MIN_PENDING_ID>"
3) "<MAX_PENDING_ID>"
4) 1) 1) "<CONSUMER>"
      2) "<COUNT>"

当该组没有 Pending 时,XPENDING 的最小 ID、最大 ID 和消费者列表会为空;实际 ID、数量和消费者名称也会随运行状态变化。这里要关注的是最老 Pending 是否已经逼近裁剪边界,而不是某个固定数值。

重要消费组若仍有需要恢复的 Pending,就不应让裁剪水位越过这些消息,除非业务已经接受丢弃并有其他补偿来源。更稳妥的门禁是同时满足“归档完成、Pending 可恢复、恢复窗口已覆盖”再执行裁剪。

分离在线保留与长期审计

需要跨月审计、合规留档或长期追溯时,应把 Redis Stream 视为在线处理与有限期补偿介质,把长期历史写入数据库、对象存储或专用日志系统。裁剪 Redis 前,应能证明归档链路已经成功落盘,并记录可核对的水位。

可执行的保留规则至少要明确最长补偿窗口、异常缓冲、在线容量上限、长期归档位置以及裁剪前的 Pending 检查。只要把这些边界写成可验证条件,再选择 MAXLEN 或 MINID,就能同时控制 Redis 增长并保住故障恢复能力。

按自己的节奏,确认真正理解。

目录与阅读设置

记录一个想法

规划消息保留策略

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通