Redis 与缓存 / 系统课时
区分 Redis 拒写与进程 OOM
区分 Redis 拒写与进程 OOM
Redis 出现“写不进去”并不等于发生了进程 OOM。要先判断请求是在 Redis 自己的内存保护逻辑中被拒绝,还是进程已经无法分配内存,进一步还要区分容器 OOMKilled 与宿主机 OOM Killer,才能选择正确处置路径。
学习目标
- 能根据错误信息和系统现象区分 Redis 拒写与进程级 OOM
- 能确认
maxmemory、进程内存和容器限制分别在哪里生效 - 能用 Redis、容器和内核证据完成根因定位
Redis 自己拒绝命令
当 Redis 达到配置的 maxmemory 后,行为由 maxmemory-policy 决定。若策略允许淘汰,Redis 会先尝试淘汰;若策略为 noeviction,或目标数据不属于可淘汰范围,写命令可能直接返回 OOM command not allowed when used memory > 'maxmemory'.。这属于 Redis 主动拒绝,并不表示 Linux 已经把进程杀掉。
redis-cli CONFIG GET maxmemory maxmemory-policy
redis-cli SET oom-check <VALUE>预期结果
1) "maxmemory"
2) "8589934592"
3) "maxmemory-policy"
4) "noeviction"
(error) OOM command not allowed when used memory > 'maxmemory'.看到这个错误时,第一检查点是 maxmemory 和淘汰策略,而不是立刻查看内核日志。只要 Redis 进程仍然存活并能正常响应读命令,就更符合“Redis 内部拒写”的特征。
进程分配失败与宿主机 OOM
另一类情况是 Redis 在执行命令、复制、持久化或其他内部操作时需要额外内存,但底层分配失败。此时应区分三个层次:Redis 的 maxmemory 是应用层上限;容器 memory limit 是 cgroup 层约束;宿主机可用内存和内核 OOM Killer 则是更底层的资源边界。

容器场景下,最容易误判的是把 Redis 返回的 OOM 错误和 Kubernetes 的 OOMKilled 当成同一件事。前者是 Redis 返回错误;后者表示容器中的进程被 cgroup 内存限制触发的内存杀手终止,通常表现为容器退出并伴随相应状态。
先看 Redis,再看容器与内核
在故障现场先确认 Redis 是否仍能响应,并读取自身内存状态。
redis-cli PING
redis-cli INFO memory | grep -E 'used_memory:|used_memory_rss:|maxmemory:|maxmemory_policy:'
redis-cli INFO persistence | grep -E 'rdb_bgsave_in_progress:|aof_rewrite_in_progress:'预期结果
PONG
used_memory:8587000000
used_memory_rss:9100000000
maxmemory:8589934592
maxmemory_policy:noeviction
rdb_bgsave_in_progress:0
aof_rewrite_in_progress:0如果 Redis 还能响应且 used_memory 接近 maxmemory,优先考虑内部内存上限导致的拒写。若 Redis 无响应、进程突然消失或容器重启,再进入 cgroup 与内核层排查。
区分 OOMKilled 与宿主机 OOM Killer
在容器环境中,先查看容器退出状态和事件;在宿主机上再检查内核日志。不要只凭应用日志判断,因为进程被直接杀掉时,Redis 往往来不及写出有用的错误信息。
docker inspect <ID> --format '{{.State.Status}} exit={{.State.ExitCode}} oom={{.State.OOMKilled}}'
dmesg -T | grep -iE 'out of memory|killed process|oom-kill' | tail -20预期结果
exited exit=137 oom=true
[TIME] kernel: oom-kill:constraint=CONSTRAINT_MEMCG
[TIME] kernel: Out of memory: Killed process <PID> (redis-server)OOMKilled=true 说明容器层发生了 OOM;dmesg 中出现内核 OOM 记录,则提供了内核侧证据。两者都不应该与 Redis 自身返回的 OOM command not allowed 混为一谈。
用现象快速分流
可以把现场证据按下面的顺序判断:Redis 能响应且写命令返回 OOM command not allowed,先查 maxmemory 与淘汰策略;Redis 进程被容器终止,查 cgroup memory limit 与 OOMKilled;宿主机日志出现 OOM Killer,则继续检查整机内存竞争、同机其他进程和容器限制。
最终目标不是记住某一条 OOM 日志,而是建立分层证据链:Redis 配置与响应 → 进程状态 → 容器限制 → 内核日志。只有确认故障发生在哪一层,后续调整 maxmemory、淘汰策略、容器 limit 或宿主机资源才不会南辕北辙。