Redis 与缓存 / 技术文章
Redis OOM 与淘汰异常怎么排查
Redis 出现内存告警、写入报错、evicted_keys 异常增长,甚至容器被 OOMKilled 时,值班排障最容易犯的错误是只看一个内存指标。本文面向负责 Redis 值班排障、容量治理和缓存稳定性的 SRE、后端工程师与平台工程师,沿着“业务数据 → Redis 内存 → 进程 RSS → cgroup → 宿主机”逐层取证,把拒写、主动淘汰、进程 OOM、容器 OOMKilled 和系统 OOM Killer 区分开,最后得到可执行的止损与整改结论。
先判断:这是拒写、淘汰,还是 OOM
Redis 的“内存异常”至少对应三类不同事件:达到 maxmemory 后按策略淘汰或拒写;Redis 进程自身继续消耗额外内存导致系统压力;容器或宿主机内核直接杀死进程。它们的现象可能相似,但证据位置不同。
值班时先记录同一时间窗口内的基础状态,避免只凭应用报错倒推根因:
redis-cli INFO memory
redis-cli INFO stats
redis-cli CONFIG GET maxmemory maxmemory-policy
redis-cli INFO persistence
redis-cli INFO clients预期结果应至少能看到 used_memory、used_memory_rss、maxmemory、maxmemory_policy、evicted_keys、rejected_calls 等字段。判断重点不是某个值是否“高”,而是这些指标是否同时出现了对应的因果关系:
| 现象 | 优先检查 | 典型结论 |
|---|---|---|
used_memory 接近 maxmemory,同时拒写增加 |
淘汰策略、可淘汰 Key、rejected_calls |
Redis 在逻辑内存边界内拒绝部分写入 |
evicted_keys 持续增加且命中率下降 |
淘汰速度、写入速度、TTL、回源流量 | 发生内存淘汰,可能形成缓存抖动 |
used_memory 未明显超过预期,但 RSS 很高 |
allocator、客户端缓冲区、复制、持久化、碎片 | 额外常驻内存或分配器保留导致压力 |
容器状态显示 OOMKilled |
cgroup 内存限制、memory.current、memory.events |
容器边界先于 Redis maxmemory 触发 |
主机日志出现 Killed process ... redis-server |
内核 OOM 日志、宿主机可用内存 | 系统级 OOM Killer 终止 Redis |
不要把 used_memory_rss > used_memory 直接解释为“Redis 内存泄漏”。RSS 还会受到内存分配器保留、碎片、客户端缓冲区、复制、持久化和其他进程内存的影响。
再看 Redis 的逻辑内存边界
第一层排查集中在 Redis 自己控制的逻辑内存上。核心关系是:used_memory 描述 Redis 分配和管理的内存口径,maxmemory 定义可用于触发内存控制的边界,而淘汰策略决定达到边界后优先删除什么;这些概念不能与操作系统进程 RSS 混为一谈。
检查策略与当前状态:
redis-cli CONFIG GET maxmemory
redis-cli CONFIG GET maxmemory-policy
redis-cli INFO memory | egrep 'used_memory:|used_memory_dataset:|used_memory_rss:|maxmemory:|mem_not_counted_for_evict:'
redis-cli INFO stats | egrep 'evicted_keys:|rejected_calls:'预期结果示例:
maxmemory
1073741824
maxmemory-policy
allkeys-lru
used_memory:...
used_memory_dataset:...
used_memory_rss:...
maxmemory:1073741824
mem_not_counted_for_evict:...
evicted_keys:...
rejected_calls:...看到 used_memory 接近 maxmemory 后,不要立刻执行扩容。先确认:当前策略是否允许淘汰、是否存在符合策略的 Key、业务是否持续高速写入、淘汰后的数据是否马上被回源并重新写入。noeviction 下,达到限制后典型结果是写类命令失败,而不是不断增加 evicted_keys;具有淘汰能力的策略则可能出现淘汰增加和缓存命中率下降。
还要关注 mem_not_counted_for_evict 等额外内存口径。Redis 的淘汰判断与进程实际占用不是一个简单的“RSS 大于 maxmemory 就开始淘汰”的关系,因此遇到高 RSS 时应转向进程和操作系统层取证,而不是只修改 maxmemory。
淘汰异常要查反馈回路,而不是只查淘汰数
evicted_keys 增加本身不是故障结论。真正需要判断的是淘汰是否与业务流量形成恶性反馈:写入增长使 Key 持续进入淘汰区,淘汰导致缓存命中率下降,请求回源数据库,回源结果再次写入 Redis,进一步增加写入与淘汰压力。
建议把这些信号放在同一时间轴观察:
时间轴:T0 ---- T1 ---- T2 ---- T3
写入/QPS ↑↑ ↑↑↑ ↑↑↑
Key 数 ↑ ↑↑ ↑↑
evicted_keys 低 ↑ ↑↑↑
命中率 稳定 ↓ ↓↓↓
回源流量 稳定 ↑ ↑↑↑
延迟 稳定 ↑ ↑↑预期结果不是要求所有指标严格同步,而是寻找方向一致的证据链。若写入、淘汰、回源和延迟同时抬升,更应优先治理数据生命周期、TTL 分布、热点 Key 和写入模式,而不是简单调高淘汰速度。
同时检查高基数 Key、集合膨胀和大 Value。一个实例的 Key 总数没有明显异常,也不代表数据集安全;单个集合快速增长、单 Value 过大、业务维度数量暴增,都可能让 used_memory_dataset 快速上升。
RSS 很高时,把 Redis 之外的内存找出来
当 used_memory 与业务数据增长不匹配,而 used_memory_rss 明显抬升时,需要把视角扩展到分配器、客户端缓冲区、复制和持久化。
先取一组关联数据:
redis-cli INFO memory | egrep 'used_memory:|used_memory_rss:|mem_fragmentation_ratio:|allocator_allocated:|allocator_active:|allocator_resident:|mem_clients_normal:|mem_clients_slaves:|mem_replication_backlog:|mem_not_counted_for_evict:'
redis-cli INFO clients | egrep 'connected_clients:|blocked_clients:|client_recent_max_input_buffer:|client_recent_max_output_buffer:'
redis-cli INFO persistence | egrep 'rdb_bgsave_in_progress:|aof_rewrite_in_progress:|current_cow_peak:|current_cow_size:|rdb_last_cow_size:|aof_last_cow_size:'预期结果中,若 allocator_active 或 allocator_resident 明显高于 allocator_allocated,要考虑分配器保留和碎片;若客户端相关内存明显升高,要检查慢消费者、Pub/Sub、Replica 等连接;若正在执行后台保存或 AOF 重写,则还要检查 fork 后 Copy-on-Write 带来的瞬时内存峰值。
尤其不要用单一的 mem_fragmentation_ratio 判断“就是碎片”。该比例是 RSS 与 used_memory 的粗粒度关系,异常时必须继续拆分 allocator、客户端、复制和持久化等来源。
Redis 没有报错,但容器却 OOMKilled
这是值班场景中最容易误判的一类。容器有独立的 cgroup 内存边界,宿主机内核可以在 Redis 自己的逻辑限制尚未达到时,先因为 cgroup 或系统内存压力终止进程。因此,看到 OOMKilled 时不能只检查 maxmemory。
在使用 cgroup v2 的环境中,可从容器对应 cgroup 读取:
cat /sys/fs/cgroup/memory.current
cat /sys/fs/cgroup/memory.max
cat /sys/fs/cgroup/memory.events预期结果重点关注 memory.current 是否逼近 memory.max,以及 memory.events 中 oom、oom_kill 是否出现增长。例如:
memory.current: <接近 memory.max>
memory.max: <容器内存上限>
...
oom <大于 0 表示发生过 OOM 判定>
oom_kill <大于 0 表示发生过 OOM kill>若是 Kubernetes,还应把 Pod 的资源限制、容器退出原因和节点内存压力一起对齐。结论要落到具体边界:究竟是 Redis maxmemory 先触发控制,还是进程 RSS 继续增长后撞上 cgroup 限制。
如果容器没有先给出明确证据,则继续查看宿主机内核日志:
dmesg -T | egrep -i 'out of memory|oom killer|killed process|redis-server'
journalctl -k --since '<TIME>' | egrep -i 'oom|killed process|redis-server'预期结果若出现类似 Out of memory、Killed process ... redis-server 的内核事件,可进一步确认是系统级 OOM Killer 路径。此时要同时排查其他进程、页缓存、swap 和节点整体内存压力,避免把宿主机问题错误归因给 Redis 数据集。
最后按证据链决定止损与整改
完成分层取证后,可以把结论收敛到三条主路径。
第一类是“Redis 逻辑边界问题”:used_memory 接近 maxmemory,淘汰策略或 noeviction 行为与业务报错一致。优先动作是限流、降低非关键缓存写入、治理 TTL 与大 Key,并结合业务场景评估扩容或分片。
第二类是“Redis 进程额外内存问题”:数据集并未解释 RSS 增长,证据指向 allocator、客户端缓冲区、复制、持久化或 COW。优先动作是限制高风险来源、错开重写或保存、治理慢消费者,并评估释放与迁移策略。
第三类是“cgroup/宿主机 OOM”:存在明确的 oom_kill 或内核 Killed process 记录。优先动作不是继续等待淘汰,而是保护可用性、降低瞬时峰值、释放节点压力,并重新校准容器内存上限与 Redis maxmemory 的安全余量。
值班复盘时建议至少保留同一故障窗口的 Redis 指标、INFO memory、INFO stats、客户端信息、持久化状态、cgroup 事件、容器退出记录和宿主机内核日志。只有这些证据能按时间顺序对齐,才能区分“淘汰导致抖动”“RSS 额外增长”和“内核主动杀进程”,并把一次事故转化为可执行的容量模型、告警规则和变更门禁。