Redis 与缓存 / 系统课时

判断内存碎片是否异常

判断内存碎片是否异常

看到 mem_fragmentation_ratio 偏高时,不能直接认定 Redis 正在被碎片拖垮。本课从 RSS、Redis 已分配内存和 allocator 指标逐层判断,区分正常偏差、可回收页和真实外部碎片,最后落到容量风险而不是只盯一个比率。

学习目标

  • 理解 mem_fragmentation_ratio 与 allocator 碎片指标的区别
  • 根据绝对字节数、趋势和剩余容量判断碎片是否需要处理
  • 识别 RSS 低于 Redis 已用内存等不能按“高碎片”处理的场景

先看三层内存关系

Redis 的 used_memory 表示 Redis 通过内存分配器申请并统计到的内存,而 used_memory_rss 是操作系统观察到的进程驻留物理内存。两者并不位于同一统计层级,因此 mem_fragmentation_ratio = used_memory_rss / used_memory 只是进程 RSS 偏差的综合信号,并不等于纯粹的 allocator 碎片率。

更接近内存分配器内部状态的是三组值:allocator_allocated 表示实际分配给 Redis 的字节,allocator_active 表示分配器活跃页占用,allocator_resident 表示分配器驻留在内存中的页。allocator_frag_ratio 主要反映 active 与 allocated 之间的外部碎片,而 allocator_rss_ratio 可以帮助判断分配器已经空出来、但尚未归还操作系统的页。

Redis 内存分配与 RSS 的层级关系

采集判断所需指标

先在异常实例上一次性读取内存指标,避免只截取一个比例。下面的命令适合 Redis Open Source 常见版本;具体数值会随实例负载变化。

bash
redis-cli INFO memory | grep -E '^(used_memory:|used_memory_rss:|used_memory_peak:|maxmemory:|mem_fragmentation_ratio:|mem_fragmentation_bytes:|allocator_allocated:|allocator_active:|allocator_resident:|allocator_frag_ratio:|allocator_frag_bytes:|allocator_rss_ratio:|allocator_rss_bytes:|active_defrag_running:)'

预期输出类似如下,实际字节数和比例可能不同:

text
used_memory:<VALUE>
used_memory_rss:<VALUE>
used_memory_peak:<VALUE>
maxmemory:<VALUE>
mem_fragmentation_ratio:<VALUE>
mem_fragmentation_bytes:<VALUE>
allocator_allocated:<VALUE>
allocator_active:<VALUE>
allocator_resident:<VALUE>
allocator_frag_ratio:<VALUE>
allocator_frag_bytes:<VALUE>
allocator_rss_ratio:<VALUE>
allocator_rss_bytes:<VALUE>
active_defrag_running:<VALUE>

如果某些 allocator 字段不存在,应先确认 Redis 版本、构建方式和所用内存分配器,而不是把缺失字段当成 0。

区分三类常见现象

mem_fragmentation_ratio 略高,但 mem_fragmentation_bytes 只有很小的绝对值时,通常不是容量事故。例如一个很小的测试实例即使比例达到 1.5,多出来的 RSS 也可能只有几 MB。判断风险时,绝对字节数比孤立的比例更重要。

当 mem_fragmentation_ratio 高,同时 allocator_frag_ratio 和 allocator_frag_bytes 也持续升高,说明 allocator 活跃页中有较多空间没有被有效利用。这更符合真正的外部碎片场景,尤其是在大量键反复创建、删除、扩缩容之后。

另一种情况是 allocator_frag_ratio 并不高,但 allocator_rss_ratio 和对应字节差较高。此时内存可能已经从 Redis 对象释放到 allocator,却还没有及时归还操作系统。它会表现为 RSS 降不下来,但问题与对象级碎片并不完全相同。

判断是否已经构成容量风险

碎片只有在压缩可用余量时才真正危险。判断时同时看三个维度:差值有多大、是否持续扩大、操作系统还剩多少可用内存。即使比例相同,额外占用 200 MB 与额外占用 20 GB 的风险完全不同。

如果实例经历过明显的内存峰值,而 used_memory 已下降、RSS 长时间保持高位,可以把 used_memory_peak 一并纳入判断。这常见于峰值之后 allocator 尚未把空闲页完全归还系统,并不意味着当前键空间仍占据同样大小的内存。

处理前应先确认根因。真实 allocator 碎片可以评估 Redis 的主动碎片整理能力;大量可释放页则可在理解性能影响后评估 MEMORY PURGE。生产环境不应仅因为某个比例越过固定阈值就立即重启 Redis,因为重启虽然会重建内存布局,却同时引入可用性、加载时间和复制压力。

最终应把“碎片异常”定义成一个容量结论:额外 RSS 达到不可忽略的绝对规模,趋势仍在恶化,并且已经侵蚀主机安全余量。只有满足这些条件,碎片才应进入 OOM 治理的优先队列。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

判断内存碎片是否异常

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通