Redis 与缓存 / 系统课时

排查 maxmemory 拒写

排查 maxmemory 拒写

当 Redis 返回 OOM command not allowed when used memory > 'maxmemory' 时,真正的问题不一定只是“Key 太多”。本课按 maxmemory、淘汰策略、可淘汰 Key 和额外内存四个方向定位,最终判断是配置拒写、淘汰无效,还是业务与缓冲区共同推高了内存。

学习目标

  • 能判断 Redis 为什么达到 maxmemory 后仍无法淘汰并继续执行写命令
  • 能用命令区分淘汰策略、可淘汰 Key、已发生淘汰和额外缓冲区占用
  • 能形成从现象到根因的最短排查路径

先确认拒写条件

先不要直接删除 Key。第一步确认 Redis 当前使用量、上限、淘汰策略以及没有计入淘汰判断的内存。used_memory 用于观察 Redis 数据与内部对象的内存使用,used_memory_rss 更接近进程从操作系统获得的驻留内存;两者明显偏离时,要警惕碎片或额外内存。

bash
redis-cli INFO memory | grep -E '^(used_memory:|used_memory_rss:|maxmemory:|maxmemory_policy:|mem_not_counted_for_evict:)'
redis-cli INFO stats | grep -E '^(evicted_keys:|expired_keys:)'
redis-cli CONFIG GET maxmemory maxmemory-policy

预期结果

text
used_memory:<VALUE>
used_memory_rss:<VALUE>
maxmemory:<VALUE>
maxmemory_policy:<VALUE>
mem_not_counted_for_evict:<VALUE>
evicted_keys:<VALUE>
expired_keys:<VALUE>
1) "maxmemory"
2) "<VALUE>"
3) "maxmemory-policy"
4) "<VALUE>"

把结果放回同一张图里判断:maxmemory=0 表示没有配置 Redis 的内存上限;有明确上限时,再看策略是不是允许淘汰。若 evicted_keys 长期为 0,不能直接证明没有淘汰机会,但能提示“拒写是否从未真正进入有效淘汰”值得继续查。

maxmemory拒写排查路径

判断淘汰策略是否允许释放

Redis 是否会淘汰 Key,首先由 maxmemory-policy 决定。noeviction 达到上限后不会为了写入而删除 Key,因此写命令可能直接返回 OOM;allkeys-* 可以从全部 Key 中选择淘汰对象;volatile-* 只会从带过期时间的 Key 中选择对象。

bash
redis-cli CONFIG GET maxmemory-policy
redis-cli SET oom_probe 1
redis-cli TTL session:sample

预期结果

text
1) "maxmemory-policy"
2) "<VALUE>"
OK
(integer) -1

这里的 TTL=-1 只说明这个示例 Key 没有过期时间。它在 volatile-* 策略下不能作为淘汰候选,但在 allkeys-* 策略下仍可能成为候选。不要把“没有 TTL”简单等同于“永远不能淘汰”。

对于 volatile-*,业务的大量永久 Key 会形成一个很重要的边界:即使总内存已经达到 maxmemory,只要剩余带 TTL 的 Key 不足以释放所需空间,写命令仍可能被拒绝。

检查可淘汰 Key 与淘汰历史

Redis 没有一个适用于所有策略的“当前可淘汰 Key 总数”单一指标,因此应结合策略、TTL 和采样结果判断。先用 SCAN 采样 Key,再用 TTL 检查是否存在大量永不过期对象;同时观察 evicted_keys 是否持续增长。

bash
redis-cli --scan | head -n 20 | while read key; do
  ttl=$(redis-cli TTL "$key")
  printf '%s\t%s\n' "$ttl" "$key"
done

预期结果

text
-1	user:1001
3600	session:2001
-1	product:3001
120	cache:4001

这个采样只用于判断 Key 的过期属性,不代表精确的淘汰候选数量。真正治理时,要把抽样结果与策略结合起来:volatile-* 重点找 TTL Key 是否充足,allkeys-* 则重点分析 Key 是否存在明显的大对象、热 Key 或异常增长。

evicted_keys 的增长表示 Redis 已经执行过淘汰;如果拒写发生时它长期不增长,应重点检查是否使用了 noeviction、是否没有符合 volatile-* 条件的 Key,或者是否存在其他内存压力使问题被误判为“单纯数据集超限”。

区分数据集内存与额外内存

排查 OOM 时最容易遗漏的是“Redis 数据集”和“进程 RSS”并不是同一个数字。复制积压、客户端输出缓冲、AOF 重写、模块等额外结构可能增加进程内存;mem_not_counted_for_evict 可以帮助识别其中一部分不会直接用于淘汰决策的内存。

bash
redis-cli INFO memory | grep -E '^(used_memory:|used_memory_rss:|mem_fragmentation_ratio:|mem_not_counted_for_evict:|allocator_active:|allocator_resident:)'

预期结果

text
used_memory:<VALUE>
used_memory_rss:<VALUE>
mem_fragmentation_ratio:<VALUE>
mem_not_counted_for_evict:<VALUE>
allocator_active:<VALUE>
allocator_resident:<VALUE>

若 used_memory 已接近 maxmemory,首先处理数据淘汰与增长问题;若 used_memory 明显低于容器上限,但 used_memory_rss 很高,则不要只靠删除 Key。继续检查复制、客户端输出缓冲、AOF 重写、碎片以及容器自身的内存限制。

形成处置顺序

线上遇到一次 maxmemory 拒写,可以按以下顺序执行:先确认 maxmemory 与策略,再确认拒写前后 evicted_keys,随后检查 volatile-* 是否有足够 TTL Key,最后比较 used_memory、used_memory_rss 与 mem_not_counted_for_evict。这样能把“没有淘汰对象”和“额外内存过高”分开处理。

不要为了让写命令恢复就直接把淘汰策略改成更激进的模式。策略变化会改变数据被删除的集合;正确做法是先确认业务允许丢弃哪些 Key,再决定是否调整策略、TTL、数据结构或缓冲区治理。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

排查 maxmemory 拒写

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通