Redis 与缓存 / 系统课时
发现大 Key 与大集合
发现大 Key 与大集合
本课解决“Redis 内存突然被少数 Key 吃掉”的定位问题。你将用采样、类型检查和 MEMORY USAGE 找到超大字符串、Hash、List、Set 与 Sorted Set,并知道为什么全量扫描可能反过来放大线上风险。
学习目标
- 能用
redis-cli的大 Key 统计和MEMORY USAGE快速定位高内存 Key。 - 能区分字符串长度问题与集合元素过多问题,并确认 Key 的真实数据类型。
- 能理解
SCAN、采样与全量分析的成本差异,避免排障命令制造额外压力。
先判断什么叫“大 Key”
“大 Key”不是一个固定字节阈值,而是相对你的实例内存预算、访问模式和业务负载而言。字符串通常看值本身占用;Hash、List、Set、Sorted Set 除了总内存,还要关注元素数量,因为它们可能在短时间内继续增长。
实际排查时先回答两个问题:这个 Key 占多少内存,以及它属于什么数据类型。MEMORY USAGE 适合确认单个 Key 的内存占用,TYPE 用来避免把集合误判成普通字符串。
用采样快速找候选 Key
对于生产实例,不要一上来对每个 Key 做昂贵分析。可以先用 redis-cli --bigkeys 找集合型大 Key,再用 --memkeys 从内存占用角度筛选候选;这两类统计都基于扫描,结果更适合作为定位入口,而不是精确的全库账本。
redis-cli -h <IP> -p <PORT> --bigkeys --i 0.01
redis-cli -h <IP> -p <PORT> --memkeys --i 0.01预期结果
# --bigkeys 会输出扫描数量,并报告各数据类型中观察到的较大 Key 与元素数量。
# --memkeys 会输出扫描数量,并报告按内存占用观察到的较大 Key。
# <VALUE> 等动态数值会随实例数据、Redis 版本和运行时状态变化。这里的 --i 0.01 表示在扫描过程中加入 1% 的节奏延迟,用于降低连续扫描对实例的冲击。它不是“只扫描 1% Key”的意思;具体扫描方式仍由命令本身完成,因此不要把它当成严格的随机抽样比例。
用类型和内存占用确认大 Key
找到候选 Key 后,再缩小到单个对象验证。下面的主示例同时覆盖字符串和五类常见集合,重点不是比较绝对字节数,而是建立“类型 → 元素规模 → 内存占用”的判断链。
redis-cli -h <IP> -p <PORT> SET demo:string "abcdefghijklmnopqrstuvwxyz" >/dev/null
redis-cli -h <IP> -p <PORT> HSET demo:hash field1 value1 field2 value2 field3 value3 >/dev/null
redis-cli -h <IP> -p <PORT> RPUSH demo:list item1 item2 item3 item4 >/dev/null
redis-cli -h <IP> -p <PORT> SADD demo:set member1 member2 member3 member4 >/dev/null
redis-cli -h <IP> -p <PORT> ZADD demo:zset 10 member1 20 member2 30 member3 >/dev/null
for key in demo:string demo:hash demo:list demo:set demo:zset; do
printf '%s\t' "$key"
redis-cli -h <IP> -p <PORT> TYPE "$key"
printf '%s\t' "memory"
redis-cli -h <IP> -p <PORT> MEMORY USAGE "$key"
done预期结果
demo:string string
memory
<VALUE>
demo:hash hash
memory
<VALUE>
demo:list list
memory
<VALUE>
demo:set set
memory
<VALUE>
demo:zset zset
memory
<VALUE>MEMORY USAGE 返回的是单个 Key 的估算内存占用,单位为字节,具体数值会受 Redis 版本、内部编码和分配器影响,因此排障时应比较同一实例上的相对大小,而不是把某个固定字节数当成所有环境通用的“大 Key 阈值”。
集合要同时看元素数量
对于 Hash、List、Set 和 Sorted Set,仅看字节数还不够。一个对象可能当前占用不算离谱,但元素数量已经达到百万级,后续写入会继续推高内存和操作成本。可以用 HLEN、LLEN、SCARD、ZCARD 快速判断集合规模。
字符串:关注值大小与是否被单 Key 高频访问。
Hash:重点看 HLEN,字段持续增长时优先检查生命周期。
List:重点看 LLEN,生产中尤其关注是否缺少消费或截断。
Set:重点看 SCARD,常见于成员去重或关系集合无限累积。
Sorted Set:重点看 ZCARD,同时关注成员增长和清理策略。如果一个集合同时满足“元素数量巨大、内存占用高、访问频繁”,它比单纯的大字符串更值得优先处理,因为一次业务请求可能触发更大的数据搬运、遍历或编码转换成本。
扫描风险不能忽略
SCAN 是渐进式游标扫描,不代表扫描就没有成本。扫描次数越多、实例 Key 数越大、每轮伴随的分析命令越多,对 CPU 和网络的压力就越明显。尤其不要在生产高峰期对每个 Key 连续执行多次 MEMORY USAGE、TYPE 和集合统计。
更稳妥的顺序是:先用低侵入方式获得候选范围,再只对候选 Key 做深挖;需要长期治理时,把大 Key 指标沉淀成周期性采样或离线分析,而不是每次故障都临时全库扫描。
排查完成后,最终证据至少应包括 Key 名称、类型、内存占用、集合元素数量、最近增长趋势。只有把“现在很大”和“正在继续变大”区分开,才能进一步判断该 Key 是正常热点、容量边界,还是潜在的数据增长缺陷。