架构与系统设计 / 系统课时

为热点数据设计分片策略

为热点数据设计分片策略

分片不是把数据平均切开就结束,而是要让访问压力也尽量分散。本篇从访问键、数据规模和热点分布出发,确定可长期使用的分片键,并把扩容迁移、热点拆分和路由稳定性一起纳入设计。

学习目标

  • 根据查询路径和写入模式选择合适的分片键
  • 识别单调键、超级热点和数据倾斜带来的风险
  • 为扩容、迁移和热点拆分预留可演进的路由方案

先从访问模式决定分片边界

分片首先解决的是单节点容量或吞吐不够的问题。设计前应先列出系统的主要访问路径:请求通常通过什么键定位数据、哪些操作必须访问同一批记录、热点是否会随时间集中到少量键上。

例如订单系统经常按 user_id 查询用户订单,那么按用户分片可以让大多数请求只访问一个分片。若主要请求是按 order_id 精确查询,而订单号本身能够稳定散列,则按订单号分片会更直接。反过来,如果经常要求跨全部用户按时间范围扫描,单纯按用户分片就会产生大量跨分片查询。

一个好的分片键通常同时满足三个条件:基数足够高、请求能够据此路由、写入和存储分布相对均匀。只追求其中一项,往往会把问题转移到查询层或扩容阶段。

避免把业务热点直接映射成物理热点

最危险的情况不是数据量略有不均,而是高频访问键长期落在同一个物理分片。例如按 merchant_id 分片时,一个头部商户可能承载全站大量交易;按日期分片时,当天所有新写入又会集中到最新分片。

分片键选择与热点形成示意图

常见高风险分片键包括自增 ID 的范围分片、时间戳范围、地区等低基数字段,以及可能出现超级租户、超级商品或超级房间的业务 ID。它们并非绝对不能使用,但必须明确最大热点能够给单分片带来多大压力。

如果必须按业务实体聚合数据,可以给热点实体增加二级后缀。例如普通商户仍映射到一个逻辑桶,而超级商户按 merchant_id + bucket 拆成多个桶。代价是原本单分片完成的查询需要聚合多个桶,因此只应对真正的热点做定向拆分。

用逻辑分片隔离物理拓扑变化

直接建立“业务键到数据库实例”的固定映射,初期简单,但扩容时会非常僵硬。更稳妥的做法是增加逻辑分片层:业务键先映射到数量较多且相对稳定的逻辑桶,再把逻辑桶分配给当前物理节点。

例如系统预先定义 256 个逻辑桶,user_id 经过稳定散列后映射到其中一个桶。初始只有 4 个数据库节点,每个节点承载约 64 个桶;扩容到 8 个节点时,只迁移部分桶,而不需要改变所有业务键的分片算法。

这种结构把两个问题分开了:键应该属于哪个逻辑分片由稳定算法决定,逻辑分片当前部署在哪里由可变路由表决定。扩容、缩容和故障转移主要修改后者,从而减少全量数据重新分布。

逻辑分片扩容与迁移示意图

把迁移和热点拆分设计成正常能力

真正可用的分片方案必须回答数据如何迁移,而不能只描述最终拓扑。在线迁移通常经历复制存量数据、追平增量变更、切换路由、观察稳定性和清理旧副本几个阶段。切换期间尤其要明确读写落到哪里,以及如何避免双写顺序不同导致数据回退。

热点拆分也应采用类似思路。先通过监控确认某个逻辑桶的 QPS、CPU、锁等待或存储容量长期异常,再决定迁移整个桶还是只拆分其中的热点键。若每次热点出现都必须修改业务代码并停机搬库,说明路由层抽象仍然不足。

用容量和路由约束完成评审

评审分片设计时,可以依次确认:单分片最大数据量是否可控,峰值请求是否会集中到少数键,核心查询能否单分片完成,扩容时需要迁移多少数据,以及热点能否在不改变全局算法的前提下单独拆分。

如果一个方案能均匀分布今天的数据,却无法平滑增加节点,或者一个超级热点就能击穿单分片,那么它仍不是可扩展方案。可靠的分片设计应让正常请求稳定路由,让物理节点可以变化,并让少数异常热点拥有独立的拆分和迁移通道。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

为热点数据设计分片策略

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通