Redis 与缓存 / 技术文章

Redis 内存为什么不等于 Key 大小

Redis 实例出现“Key 总大小不大,但内存占用明显更高”时,这篇文章适合后端工程师、SRE 与缓存平台工程师快速建立正确的内存视角。读完后,你可以把业务有效载荷、Redis 数据结构开销、分配器保留空间和进程 RSS 分开判断,并知道下一步该查什么。

先区分“数据大小”和“实际占用”

业务侧通常先计算字符串长度:Key 有多少字节,Value 有多少字节,再乘以 Key 数量。但 Redis 的实际占用并不是这些字节的简单求和。

一个键值至少会涉及几层成本:Key 与 Value 自身的对象表示、数据库字典中的条目、对应数据类型的内部结构,以及设置 TTL 后维护过期信息所需的结构。集合、哈希、列表、有序集合等复杂类型还会继续产生节点、桶或编码相关的额外开销。

因此可以用一个更接近排障的近似模型表达:

Mtotal≈Mpayload+Mobject+Mdict+Mexpire+Mallocator+Mclient+Mreplication+MpersistenceM_{total} \approx M_{payload}+M_{object}+M_{dict}+M_{expire}+M_{allocator}+M_{client}+M_{replication}+M_{persistence}

这里的每一项都不要求精确到单字节,关键是避免把“有效数据大小”当成“Redis 进程最终占用”。

为什么一个 Key 本身也有隐藏成本

Key 的字符串长度只是有效载荷的一部分。Redis 需要保存键对象、值对象,并把键放入数据库字典;不同数据类型还会有对应的内部编码与管理结构。

例如一个只有几十字节的 Key,如果数量从几十万增长到数百万,单个 Key 的固定开销会被数量放大。此时容量异常未必来自“大 Value”,也可能来自“高基数、小对象”。

TTL 也会增加额外成本。设置过期时间后,Redis 需要维护与过期处理有关的信息,因此同样大小的业务数据,带 TTL 与不带 TTL 的内存曲线并不一定相同。

复杂集合更容易出现这种差异:业务看到的是一个逻辑集合,但 Redis 内部可能包含大量成员对象和组织成员的结构。于是“一个 Key”在业务语义上是一个对象,在内存语义上却可能对应很多内部对象。

为什么 used_memory 与进程 RSS 还会继续拉开

即使 Redis 已经把对象释放了,进程 RSS 也未必同步下降到相同水平。中间存在内存分配器这一层:Redis 向分配器申请内存,释放对象后,一部分空间可能继续留在分配器内部等待复用,而不是立刻还给操作系统。

因此排障时至少要同时观察逻辑占用与进程常驻内存,而不能只看 Key 数量。

text
redis-cli INFO memory | egrep 'used_memory:|used_memory_rss:|used_memory_dataset:|used_memory_overhead:|mem_fragmentation_ratio:|allocator_frag_ratio:|allocator_rss_ratio:'

预期结果

text
used_memory:<VALUE>
used_memory_rss:<VALUE>
used_memory_dataset:<VALUE>
used_memory_overhead:<VALUE>
mem_fragmentation_ratio:<VALUE>
allocator_frag_ratio:<VALUE>
allocator_rss_ratio:<VALUE>

其中,used_memory 更接近 Redis 自身统计的分配内存口径,used_memory_rss 反映操作系统看到的 Redis 进程常驻内存。两者的差距可能来自分配器保留、内存碎片、线程或其他进程级内存因素,因此不能把 mem_fragmentation_ratio 直接等同于“纯碎片比例”。

小对象、高基数和大对象分别会造成什么现象

小对象、高基数通常表现为 Key 数量快速增长,而单个对象并不显眼。此时总开销来自海量对象头、字典条目和内部管理结构,容易出现“单 Key 很小,总内存却很大”。

大对象则是另一条路径:Key 数量可能几乎不变,但某个 Value、Hash、Set、Sorted Set 等内部成员规模持续增长,最终形成少数高占用对象。它们不仅影响容量,还可能放大删除、迁移、序列化和命令延迟成本。

因此看到内存上涨时,应同时问两个问题:是“Key 变多了”,还是“少数 Key 变胖了”。这两个问题对应完全不同的治理方向。

一套实用的内存归因顺序

先看 used_memory 的增长,再对照 Key 数量和业务写入趋势;随后检查 used_memory_dataset 与 used_memory_overhead 的构成变化。如果数据集本身没有明显增加,再进一步比较 used_memory 与 used_memory_rss,并结合 allocator 相关指标判断是否存在明显的分配器保留或碎片问题。

接下来再排查客户端输出缓冲区、复制相关内存、持久化期间的瞬时峰值,以及 fork 与 Copy-on-Write 带来的额外消耗。这样做的目的不是把所有内存都塞进一个公式,而是先确定“增长发生在哪一层”。

一个简单的判断框架是:

现象 优先怀疑 下一步
Key 数持续上升,单对象较小 高基数与对象固定开销 按命名空间和业务维度拆分 Key 增长
Key 数稳定,少数对象持续变大 大 Key、大集合 定位对象大小和数据结构
used_memory 稳定,RSS 持续偏高 分配器保留或碎片 对比 allocator 指标与 RSS
used_memory 与 RSS 同时快速上升 数据或额外内存共同增长 排查客户端、复制、持久化和业务写入

最容易踩的三个判断误区

第一,把 Key 名称长度乘以 Key 数量,当成 Redis 的真实内存。这个数字只能代表有效载荷的一部分。

第二,只看 mem_fragmentation_ratio 就认定“Redis 碎片严重”。该指标是不同内存口径的比值,受到分配器行为和实际工作集变化影响,必须结合 allocator 指标与 RSS 一起解释。

第三,看到 RSS 高就直接扩容。若问题来自客户端缓冲区、复制、持久化瞬时峰值或高基数小对象,单纯扩容只能延后问题,不能消除根因。

记住一个更准确的容量观

分析 Redis 内存时,不要问“这些 Key 加起来是多少”,而要问“这些 Key 为什么最终占用了这么多进程内存”。

真正有用的容量视角至少分成三层:业务有效载荷、Redis 内部与分配器开销、操作系统看到的进程 RSS。只有把这三层放在同一条增长时间线上,才能解释为什么 Key 大小看起来正常,Redis 却已经逼近容量边界。

目录与阅读设置

记录一个想法

Redis 内存为什么不等于 Key 大小

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通