Redis 与缓存 / 系统课时
估算 Key 的真实内存成本
估算 Key 的真实内存成本
Redis 容量计算不能只按字符串长度相加,因为一个业务 Key 的成本还包括键名、值、对象元数据以及哈希、列表、集合等容器结构。掌握实际测量与粗略估算的方法,才能把“每条数据多几十字节”转换成可落地的容量预算。
学习目标
- 能拆分单条业务数据的主要内存成本
- 能使用
MEMORY USAGE验证单 Key 的实际占用 - 能区分对象自身成本与复制、持久化、碎片等实例级额外成本
从一条业务数据拆开看
一条 Redis 数据至少可以从四个角度估算:Key 名本身、Value 内容、Redis 对象与编码开销、容器结构额外开销。例如一个用户资料如果使用 Hash,不只是把字段和值的字符长度加起来,还要考虑 Hash 对象和内部字典或紧凑编码带来的结构成本。
因此,容量模型不要直接写成“平均 JSON 字节数 × Key 数量”。更可靠的基本式是:
然后再根据实例级情况加入复制、持久化缓冲、客户端和 allocator/RSS 的安全余量。
用 MEMORY USAGE 测量真实样本
估算适合做容量模型,真实测量适合校准模型。对已经存在的业务 Key,可以直接使用 MEMORY USAGE 获取该 Key 及其 Value 在 Redis 中所需的内存规模。
先创建一个可重复的样本:
redis-cli SET user:1001 "uid=1001&name=alice®ion=us-west"
redis-cli MEMORY USAGE user:1001预期输出:
OK
<VALUE>第二行是 Redis 为这个 Key 及其 Value 返回的字节数。它不是“字符串字符数”,也不等于整个 Redis 进程的 RSS;因此它特别适合回答“这类对象自身大约有多贵”。实际数值会随 Redis 版本、分配器、对象编码和内容长度变化。
容器类型为什么不能只看内容长度
String 通常容易做第一版估算,但 Hash、List、Set、Sorted Set 等容器会产生额外结构成本,而且 Redis 会根据对象规模和内容特征选择不同内部编码。因此两个内容字节数相近的业务对象,实际内存占用可能不同。
可以直接用 MEMORY USAGE 对比一个 Hash 样本:
redis-cli HSET user:1002 id 1002 name alice region us-west
redis-cli MEMORY USAGE user:1002预期输出:
(integer) <VALUE>
<VALUE>第一行是实际写入的字段数量,第二行是该 Hash Key 及其 Value 所需的内存规模。不要因为三个字段的文本长度很短,就把三组字段长度直接当成 Redis 的最终内存成本。
从样本推到容量预算
实际容量规划可以先采集一批具有代表性的 Key,而不是只测一个幸运样本。按照业务类型分别统计平均值、P95 或更保守的上分位成本,再乘以预计 Key 数量。例如某类对象校准后平均占用约 <VALUE> 字节,计划保留 <VALUE> 个对象,那么数据集基础预算可先按 平均单条成本 × 对象数量 计算。
但这个乘积不能直接当成机器内存上限。实例还要为复制 backlog、复制客户端、AOF/RDB 相关缓冲、客户端缓冲以及 allocator 碎片预留空间。特别是在写入突增、副本延迟或持久化重写期间,瞬时峰值可能明显高于平稳状态。
最容易低估的几个地方
首先是 Key 名。重复前缀很长时,几十字节的额外成本乘上数千万 Key 就会变成显著容量。其次是容器结构。一个大 Hash 与大量小 Hash 的结构成本并不相同。再次是对象编码变化:对象增长到某个规模后,内部表示可能发生转换,单位数据成本随之改变。
因此做 Redis 容量治理时,最好按真实业务 Key 类型建立样本集,并记录对象大小随数据规模变化的趋势。单条数据成本不是永久不变的常数,而是由内容、对象类型、编码和实例运行状态共同决定的。