Redis 与缓存 / 系统课时

拆分与迁移大 Key

拆分与迁移大 Key

本课解决大 Key 治理中最容易出现的二次事故:为了降低单个对象大小,直接重写或删除大 Key,结果引发长时间阻塞、网络尖峰或容量瞬时翻倍。目标是根据访问模式选择拆分、分桶或渐进迁移,并控制治理过程本身的资源开销。

学习目标

  • 能根据访问模式判断大 Key 是否适合拆分或分桶
  • 能设计低风险的渐进迁移路径并控制读写切换
  • 能用扫描、容量和业务验证结果确认迁移没有制造新的风险

先判断大 Key 的访问形态

“大 Key”不是一种固定结构。String 可能只是单个超大 Value,Hash、Set、List、Sorted Set 则可能因为成员数量过多而形成集合型大 Key。治理方法首先取决于业务是否需要整体读取、是否存在热点访问,以及对象是否可以按业务维度自然切分。

如果业务天然按租户、日期、地区或对象 ID 访问,通常适合把一个超大对象拆成多个可独立访问的桶。若业务必须频繁读取整个集合,则机械拆分可能只是把一次大读变成多次小读,延迟和网络成本反而更高。

选择拆分、分桶或渐进迁移

可以用一个简单决策原则:能自然按访问键切分,就优先分桶;只是单个 Value 过大,则优先调整数据模型或拆成多个字段;旧结构已经在线承载业务,则优先渐进迁移,而不是一次性搬完。

大 Key 拆分与渐进迁移决策关系

先用低影响方式确认对象规模

治理前需要知道对象到底有多大,以及它对业务有多热。不要在生产环境直接对未知大 Key 使用高成本命令。对于 String,可以使用 STRLEN;集合型对象可以结合 MEMORY USAGE 做容量判断,但这类检查仍可能读取对象信息,因此应控制频率并避开高峰。

bash
redis-cli MEMORY USAGE <KEY>
redis-cli TYPE <KEY>

预期结果:

text
(integer) 18472960
hash

这里的返回值表示 Redis 对该 Key 的内存使用估算,实际值会受数据结构编码等因素影响。它适合帮助判断治理优先级,不应被当成业务数据量的精确等价物。

设计渐进迁移窗口

在线迁移的核心不是“把旧 Key 复制一遍”,而是让迁移过程中读写行为仍然可控。一个常见路径是先建立新结构,再让新写入同时进入新结构;后台按小批次搬迁旧数据;读请求在兼容期优先读取新结构,必要时回源旧结构;校验完成后再切换到新结构并停止旧数据写入。

迁移速率必须有上限。每批处理的数据量越大,单次操作带来的 CPU、网络和复制压力越明显。每轮迁移后都应观察 Redis 延迟、吞吐、复制延迟和内存峰值,再决定是否继续加速。

用小批次搬迁并保留回滚点

实际迁移代码取决于数据结构和业务模型,因此这里给出一个片段示例,演示按成员分页读取 Hash 并写入拆分后的目标 Key。它依赖已经初始化的 Redis 客户端、业务命名规则以及具体的数据转换逻辑。

python
import redis

r = redis.Redis(host="<IP>", port=<PORT>, decode_responses=True)
source = "profile:large"

# 每轮限制成员数量,避免把一次迁移变成长时间操作。
members = r.hscan(source, cursor=0, count=100)
cursor, items = members

for field, value in items:
    bucket = field.split(":", 1)[0]
    target = f"profile:{bucket}"
    r.hset(target, field, value)

print(f"migrated={len(items)} cursor={cursor}")

预期结果:

text
migrated=100 cursor=18432

这是片段示例,不代表完整迁移器。生产实现还需要保存游标、处理重复执行、控制批次间隔、避免覆盖并发更新,并在最终切换前完成新旧结构的一致性校验。

验证迁移没有制造新问题

验收至少检查四类结果:业务读写是否正确,源 Key 是否继续增长,目标结构容量是否符合预期,以及 Redis 延迟、CPU、复制延迟和峰值内存是否出现新的异常。

尤其注意迁移期间的容量放大。旧结构与新结构并存时,瞬时内存可能接近两份数据的总和。原本已经逼近 maxmemory 的实例,不适合在本机上直接做全量双写迁移;应先评估余量,必要时降低迁移速率或将迁移工作转移到容量更充足的环境。

最终切换必须存在明确回滚点,例如保留旧结构一段时间、保留新旧读取兼容逻辑,确认业务稳定后再删除旧 Key。大 Key 治理真正的成功标准不是“单个 Key 变小”,而是对象大小、访问延迟、内存峰值和迁移风险同时下降。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

拆分与迁移大 Key

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通