Redis 与缓存 / 系统课时
识别复制与持久化额外内存
识别复制与持久化额外内存
Redis 内存超出数据集大小时,不能只看 Key 和 Value。本节从复制 backlog、复制客户端缓冲区以及 RDB/AOF 持久化缓冲区入手,建立“数据集内存 + 额外缓冲”的容量视角,并判断这些内存为什么可能让进程实际占用高于淘汰阈值。
学习目标
- 能从
INFO memory识别复制、客户端和持久化相关内存 - 能解释
maxmemory淘汰计算与额外缓冲区之间的关系 - 能在 OOM 排查中区分数据集增长、缓冲区增长和 RSS/碎片问题
先看 Redis 实际占了什么内存
Redis 的 used_memory 主要描述 Redis 已分配的内存,但生产排查不能把它直接当成“业务数据大小”。复制 backlog、复制客户端、普通客户端输出缓冲区,以及 AOF 等后台工作产生的缓冲,都可能形成额外开销。
执行下面的命令,先观察 Redis 当前的内存组成。
redis-cli INFO memory | grep -E '^(used_memory:|used_memory_dataset:|used_memory_rss:|mem_replication_backlog:|mem_total_replication_buffers:|mem_clients_slaves:|mem_clients_normal:|mem_aof_buffer:|mem_not_counted_for_evict:)'预期输出:
used_memory:<VALUE>
used_memory_dataset:<VALUE>
used_memory_rss:<VALUE>
mem_replication_backlog:<VALUE>
mem_total_replication_buffers:<VALUE>
mem_clients_slaves:<VALUE>
mem_clients_normal:<VALUE>
mem_aof_buffer:<VALUE>
mem_not_counted_for_evict:<VALUE>其中,used_memory_dataset 更接近数据集本身,mem_replication_backlog 表示复制 backlog 当前占用,mem_clients_slaves 与复制客户端相关,mem_clients_normal 是普通客户端内存,mem_aof_buffer 与 AOF 缓冲有关。不同 Redis 版本的字段集合可能略有差异,因此以当前实例实际返回为准。
复制为什么会额外占内存
主节点为了让副本进行增量同步,需要保留一段复制历史,即 replication backlog。副本连接本身还可能持有复制流相关缓冲,尤其是在副本处理速度跟不上主节点写入速度时,缓冲压力会扩大。
不要把 backlog 理解成“数据集再存一份”。它保存的是用于复制传播的历史数据,因此容量与写入速率、允许副本短暂失联的时间窗口有关。Redis 7.0 以后,部分复制缓冲与 backlog 的内存管理进一步合并,所以排查时更应结合 mem_total_replication_buffers 等指标整体观察。
可以同时检查复制状态和 backlog 配置:
redis-cli INFO replication | grep -E '^(role:|connected_slaves:|repl_backlog_active:|repl_backlog_size:|repl_backlog_histlen:)'
redis-cli CONFIG GET repl-backlog-size预期输出:
role:master
connected_slaves:<VALUE>
repl_backlog_active:<VALUE>
repl_backlog_size:<VALUE>
repl_backlog_histlen:<VALUE>
1) "repl-backlog-size"
2) "<VALUE>"repl_backlog_size 是配置容量,repl_backlog_histlen 是当前已经使用的历史长度。两者不能简单等同于 Redis 当前所有复制相关内存;还要考虑复制客户端和其他复制缓冲。
持久化为什么会制造内存峰值
RDB 保存或 AOF 重写期间,Redis 仍可能继续接收写请求,因此后台持久化过程需要维护额外的复制或写入缓冲。写入越集中、后台操作持续越久,峰值越明显。
这也是生产环境常见的误判来源:平时数据集稳定,一旦发生 AOF rewrite 或快照,同时业务写入量又很高,进程 RSS 可能明显上升。此时继续增加数据集,只会进一步压缩安全余量。
检查持久化状态时,可以把内存指标与后台任务放在一起观察:
redis-cli INFO persistence | grep -E '^(rdb_bgsave_in_progress:|aof_rewrite_in_progress:|aof_rewrite_buffer_length:)'
redis-cli INFO memory | grep -E '^(used_memory:|used_memory_dataset:|used_memory_rss:|mem_aof_buffer:|mem_not_counted_for_evict:)'预期输出:
rdb_bgsave_in_progress:<0-or-1>
aof_rewrite_in_progress:<0-or-1>
aof_rewrite_buffer_length:<VALUE>
used_memory:<VALUE>
used_memory_dataset:<VALUE>
used_memory_rss:<VALUE>
mem_aof_buffer:<VALUE>
mem_not_counted_for_evict:<VALUE>看到后台任务正在进行时,不要只根据瞬时 RSS 判断数据集已经失控;应再次观察任务完成后的内存是否回落,以及额外缓冲是否同步下降。
为什么 maxmemory 到了还可能继续占 RAM
理解这一点是排查 OOM 的关键:部分复制和持久化缓冲并不计入用于 Key 淘汰的那部分内存比较,因此 used_memory 可能高于 maxmemory。INFO memory 中的 mem_not_counted_for_evict 可以帮助量化这部分当前占用。
因此容量判断更接近下面的思路:可淘汰数据集上限 + 不参与淘汰计算的额外缓冲 + allocator/RSS 等运行时开销 ≤ 机器可提供的安全内存。如果只把 maxmemory 当作进程 RSS 的硬上限,就容易在复制或持久化峰值期间误以为“Redis 明明还没到上限,为什么系统已经缺内存”。
OOM 排查时怎么区分三类增长
先看 used_memory_dataset。如果它持续上涨,优先怀疑 Key 数量、Value 大小、TTL 失效不及时或大对象增长;如果数据集相对稳定而 mem_total_replication_buffers、复制相关指标明显上升,应检查副本延迟和连接状态;如果后台持久化期间 mem_aof_buffer 等额外内存明显抬升,则应把持久化峰值纳入容量模型。
最后,再把 used_memory_rss 与 used_memory 对照。两者差距明显时,还要继续判断 allocator 复用、碎片和峰值残留是否构成系统层压力。这样才能避免把“数据集过大”“复制积压”和“运行时 RSS 偏高”混成同一个问题。