NoSQL 与搜索 / 系统课时

理解 Chunk、Balancer 与迁移

理解 Chunk、Balancer 与迁移

分片集群出现延迟抖动时,先要分清“数据范围怎么切”“谁决定搬迁”“搬迁时系统做了什么”。本课从 Chunk 范围、Balancer 判定和迁移链路入手,最后给出一套可直接用于生产观察的指标顺序。

学习目标

  • 能从 sh.status(true) 中读懂 Chunk 的分片键范围与所在 shard
  • 能区分 Balancer 已启用、正在执行均衡和集合已经均衡三种状态
  • 能判断一次范围迁移对磁盘、网络、复制与请求延迟的主要影响

Chunk 表示一段分片键范围

Chunk 不是磁盘上的固定文件块,而是分片元数据中的一段键空间。每段范围采用“下界包含、上界不包含”的形式,例如 [1000, 2000);mongos 根据这些范围把带有分片键的请求路由到拥有该范围的 shard。

观察时不要只数 Chunk。两个 shard 的 Chunk 数量接近,不代表数据量、文档数或访问压力一定接近;大文档、热点键和历史删除都可能让实际负载不同。先看范围归属,再结合集合分布与系统指标判断。

在连接到 mongos 的 mongosh 中,可以把集群级状态和集合级状态一起看:

js
const ns = "sales.orders";

// 集群级状态回答“Balancer 是否启用、是否正在一轮均衡”
printjson(db.adminCommand({ balancerStatus: 1 }));

// 集合级状态与详细分片状态用于确认是否仍需迁移及 Chunk 落点
printjson(sh.balancerCollectionStatus(ns));
sh.status(true);

预期输出会包含 Balancer 状态、集合是否满足均衡要求,以及各 Chunk 的范围和所在 shard。实际时间戳、数量与 shard 名称会不同:

text
{
  mode: 'full',
  inBalancerRound: <VALUE>,
  numBalancerRounds: <VALUE>,
  ok: 1
}
{
  balancerCompliant: <VALUE>,
  ok: 1,
  ...
}
...
sales.orders
  shard key: { tenantId: 1 }
  chunks:
    shard-a <VALUE>
    shard-b <VALUE>
  { tenantId: MinKey } -->> { tenantId: <VALUE> } on : shard-a ...
  { tenantId: <VALUE> } -->> { tenantId: MaxKey } on : shard-b ...

这里 mode: 'full' 只说明 Balancer 处于启用状态;是否正处于一轮均衡要看 inBalancerRound。balancerCompliant: true 则表示该集合当前没有需要通过 Balancer 修正的分布问题。

Balancer 决定何时搬迁范围

Balancer 的职责不是让“每个 shard 的 Chunk 数完全相等”,而是持续检查集合的数据分布,并处理不均衡、zone 约束或 shard draining 等放置问题。它会选择源 shard、目标 shard 和待移动范围,然后发起迁移。

Balancer 选择并迁移 Chunk 范围的完整链路

对应用来说,关键点是迁移不是瞬间移动文件。在所有权正式切换前,源 shard 仍负责该范围的写入;目标 shard 先复制数据,再同步复制期间发生的变更。完成同步后更新分片元数据,旧副本再进入清理阶段。

迁移为什么会影响延迟

范围迁移同时消耗源端读取、目标端写入、两端网络以及复制带宽。若目标 shard 的磁盘已经接近饱和,迁移写入会与业务写入竞争;若复制链路吃紧,secondary lag 也可能扩大。清理旧范围时还会继续产生删除和复制工作。

评估影响时建议按同一时间轴对齐这些信号:应用 P95/P99 延迟与错误率、源和目标 shard 的磁盘吞吐与队列、节点间网络吞吐、CPU、WiredTiger cache 压力、复制延迟。只有看到迁移时间窗与多个资源信号同步变化,才应把抖动归因于迁移。

生产环境怎么观察和处置

出现疑似迁移抖动时,先记录 balancerStatus 与 sh.balancerCollectionStatus(),再用 sh.status(true) 确认范围落点。随后比较迁移前后源 shard 与目标 shard 的资源曲线,并检查是否存在热点分片键、过大的范围或持续新增 shard 后尚未完成的再平衡。

若业务高峰对尾延迟极敏感,可以把均衡安排到低峰窗口,但不要把“停 Balancer”当成默认优化手段。真正需要解决的是容量不足、分片键导致的热点、zone 约束过紧,或迁移与前台负载长期争抢同一资源。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

理解 Chunk、Balancer 与迁移

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通