架构与系统设计 / 系统课时

处理热点键与倾斜流量

处理热点键与倾斜流量

平均负载看起来健康,并不代表分布式系统没有容量问题。单个热门用户、商品或时间窗口都可能把请求集中到少数节点。本篇建立热点定位顺序,并用拆键、复制、缓存和局部聚合分别处理写热点、读热点和短时流量倾斜。

学习目标

  • 区分热点键、热点分片和热点时间窗口
  • 根据读写特征选择拆键、复制、缓存或局部聚合
  • 验证治理后负载是否真正从单点扩散,而不是把瓶颈转移到下游

先确认热点发生在哪一层

热点键是少数 key 占据异常高比例的请求,例如一个爆款商品承担 30% 查询。热点分片则表示某个分片整体显著高于其他分片,原因既可能是热点键,也可能是分片范围设计不均。热点时间窗口强调请求只在某个时段突然集中,例如整点抢购或榜单刷新。

定位时不要只看集群平均 CPU。更有效的顺序是先比较节点或分片的 QPS、CPU、队列长度和尾延迟,再对高负载分片统计 Top Key,最后把指标按分钟甚至秒级切分,确认是否具有时间窗口特征。

下面用一个小脚本计算各 key 的请求占比,快速识别是否存在明显热点:

python
from collections import Counter

requests = (
    ["product-42"] * 60
    + ["product-7"] * 20
    + ["product-9"] * 12
    + ["product-3"] * 8
)

counts = Counter(requests)
total = len(requests)

for key, count in counts.most_common():
    ratio = count / total
    print(f"{key}: count={count}, ratio={ratio:.0%}")

预期输出:

text
product-42: count=60, ratio=60%
product-7: count=20, ratio=20%
product-9: count=12, ratio=12%
product-3: count=8, ratio=8%

这里 product-42 单独占 60%,即使哈希函数完全均匀,它仍只能被映射到一个分片,因此单纯增加分片数量并不会自动解决问题。

写热点优先考虑拆键和局部聚合

如果大量写请求都修改同一个逻辑对象,例如给视频播放次数加一,直接以 video_id 为 key 会让所有更新落在同一个分区。可以把一个逻辑 key 拆成多个物理 key,例如 video-42#0 到 video-42#15,写入时随机选择一个桶,读取总数时再聚合这些桶。

热点写入拆键与局部聚合数据流

拆键的代价是读取复杂度和一致性成本上升,因此更适合计数器、指标、点赞量等允许聚合的状态,不适合要求每次写入都立即形成单一强一致值的账户余额。

流处理场景还可以在发送到中心聚合器之前先做局部聚合。例如每个工作节点先累计 100 毫秒内的增量,再把合并后的结果发送给同一个逻辑 key。这样不能消除最终汇聚点,但能显著减少消息数量和网络压力。

读热点优先复制和缓存

读多写少的数据更适合复制。一个热门商品详情如果只有单副本,即使存储容量足够,也可能被查询 QPS 压垮。增加只读副本后,可以按连接数、延迟或随机策略把查询分散到多个副本。

缓存进一步把重复读取挡在存储层之前。对于允许数秒陈旧的数据,可以使用本地缓存或分布式缓存,并通过短 TTL、版本号或变更通知控制新鲜度。真正需要关注的是缓存失效瞬间:如果一个热门 key 同时在数千实例中过期,所有请求仍可能一起回源。

对于极热且可容忍短暂陈旧的数据,还可以在缓存层准备多个副本或复制键,让读取请求再次散开。但如果每次写入都要同步更新大量副本,写放大会反过来成为瓶颈,因此复制数量要与更新频率一起评估。

不同倾斜类型需要不同手段

热点治理手段与流量类型选择图

热点时间窗口通常不能只靠改 key 解决。抢购开始后的十秒内请求暴涨,即使 key 分布均匀,系统总容量也可能不足。这时应结合预热缓存、提前扩容、队列削峰和入口限流,把瞬时并发转换为系统能够持续处理的速率。

如果热点来自范围分片,例如最新时间段的数据全部落到最后一个分片,则问题属于分片策略本身。可以在时间前缀之外增加散列后缀,使当前时间窗口被多个分片共同承载,再在查询端并行读取并合并。

验证不要只看平均值

优化后至少比较治理前后的 Top Key 占比、各分片 QPS 最大值与中位数、P95/P99 延迟、队列长度和缓存回源率。目标不是让所有节点数字完全一致,而是确保最热节点不再首先达到资源极限。

还要检查瓶颈是否被简单下移。例如把请求缓存后,缓存节点可能成为新热点;拆键后,最终合并器可能成为新热点;增加副本后,更新广播可能消耗大量带宽。每引入一层扩散,都要继续追踪下一层的扇入点。

处理倾斜的核心不是寻找一种通用技巧,而是先判断什么在集中、为什么集中以及是否允许拆散。可拆分的写负载用拆键与局部聚合,可复制的读负载用副本与缓存,短时峰值用削峰和限流;若业务语义要求所有操作必须汇聚到同一个强一致对象,就应明确接受该串行化边界,并围绕它设计容量和保护机制。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

处理热点键与倾斜流量

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通