Redis 与缓存 / 系统课时

建立 OOM 排障证据链

建立 OOM 排障证据链

本课解决 Redis 出现 OOM、拒写或内存异常增长后“现象很多但无法定因”的问题。你将把业务流量、Key 增长、Redis 指标、主机监控和日志统一到同一时间轴,形成可复核的根因证据链。

学习目标

  • 能建立统一时间窗口并收集关键证据
  • 能区分流量、Key 增长、内存指标和系统资源之间的因果关系
  • 能用时间对齐后的证据验证或排除候选根因

先固定故障时间窗口

排障不要从“现在 Redis 用了多少内存”开始,而应先确定故障时间点。记录第一次异常、峰值、恢复或拒写发生的时间,并向前后扩展观察窗口,例如 10:00 到 10:20。所有监控和日志都必须使用同一时区、同一时间基准。

把证据分成五类:业务流量、Key 结构变化、Redis 内存指标、主机资源、Redis 日志事件。单独看任何一类都可能只能证明相关性,只有时间关系和方向一致时,才有资格进入根因判断。

Redis OOM 多源证据时间对齐关系

从业务流量定位写入压力

先回答“是不是业务真的写得更多了”。重点观察写请求量、请求峰值、实例数、批量任务、发布或流量切换等事件。如果 QPS 突增与 Key/Value 增长同时出现,业务写入是重要候选;如果业务流量平稳而内存持续上涨,就应继续检查 TTL、Key 生命周期和对象膨胀,而不是直接归因于流量。

可以先用 Redis 自身的实时信息记录基线,再与业务监控按时间对齐:

bash
redis-cli INFO stats | grep -E 'instantaneous_ops_per_sec|total_commands_processed'
redis-cli INFO memory | grep -E 'used_memory_human|maxmemory_human|used_memory_peak_human'
redis-cli DBSIZE

预期结果:

text
instantaneous_ops_per_sec:8450
maxmemory_human:4.00G
used_memory_human:3.72G
used_memory_peak_human:3.81G
(integer) 1285430

这些值只是一次快照。真正需要验证的是它们在故障窗口内的变化方向,例如 used_memory 是否与写入峰值同步上升、Key 数是否持续增加,以及峰值后是否回落。实际数值会随环境变化。

对齐 Key 增长与内存增长

Key 数增长通常说明对象数量增加,但它不能单独解释内存涨幅。一个 Hash、List、Set 或 Sorted Set 也可能因为成员增长而显著变大,因此要同时观察 Key 数、典型对象大小和 TTL 分布。

排障时尤其要寻找“斜率变化”:如果 Key 数基本稳定,而 used_memory 持续上升,应优先检查已有对象内容膨胀、过期失效异常、客户端生命周期变化或内存碎片;如果 Key 数和内存几乎同步增加,则更像是持续写入新对象。

把 Redis、主机和日志放到同一时间轴

Redis 的拒写、延迟升高和 OOM 类事件还需要结合主机层证据。主机内存不足、swap 活跃或容器内存限制触顶,可能与 Redis 自身 maxmemory 触发产生完全不同的处理路径。

日志则负责回答“什么时候发生了什么事件”。例如,将 Redis 日志中的拒写、启动、配置变更、主从切换或异常事件与指标峰值对齐。不要只截取错误行;错误发生前后的数十秒或数分钟往往才包含因果线索。

一个简单的证据记录表可以按下面方式整理:

时间窗口 业务流量 Key/对象变化 Redis 内存 主机资源 日志事件
<TIME> 前 正常 稳定 稳定 稳定 无异常
<TIME> 峰值 突增/稳定 增长/稳定 上升/稳定 上升/稳定 出现异常
<TIME> 后 回落/持续 回落/持续 回落/持续 回落/持续 恢复/持续

用因果链验证候选根因

最终判断至少要满足三个条件:时间上能够对齐,方向上能够解释,结果上能够复现或验证。例如“批处理开始后写入量突增,随后 Key 数与 used_memory 同步上升,最终触发内存上限并出现拒写”,证据链是闭合的。

反过来,如果业务流量没有变化,Key 数基本稳定,但 Redis 内存持续增长,同时主机内存和 swap 升高,就不能简单归因于“业务流量变大”。此时应继续检查对象膨胀、碎片、客户端缓冲区或其他非 Key 内存来源。

每次结论都应明确区分“已证实”“强相关”和“待验证”。只有证据链闭合后,才进入治理动作;否则过早删除 Key、调大 maxmemory 或重启实例,可能掩盖真正原因并破坏现场。

收尾时保留故障时间窗、原始指标、关键日志和最终判断依据。这样下一次出现相同异常时,可以直接比较同一条证据链,而不是从零开始猜测。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

建立 OOM 排障证据链

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通