NoSQL 与搜索 / 系统课时

控制 Shard Rebalance

控制 Shard Rebalance

Shard Rebalance 本身是集群恢复均衡的重要机制,但节点扩缩容、维护和故障恢复叠加时,大量分片迁移会同时争抢磁盘、网络和 CPU。本课的目标不是“关闭重平衡”,而是区分迁移来源,用正确的并发设置把资源消耗限制在业务可承受范围内。

学习目标

  • 区分 Rebalance、Recovery 与强制分配迁移,知道不同设置实际限制哪一类动作
  • 使用动态集群设置暂时降低重平衡和恢复并发,并在维护结束后恢复默认行为
  • 通过 Recovery 与业务延迟指标判断限流是否有效,而不是只看集群是否变绿

先分清哪一种分片搬迁

Rebalance 是“分片已经可用,但布局不够均衡”时发生的重新分布。节点加入、节点离开后的恢复、数据层级变化、allocation filter、awareness 约束和磁盘水位都可能造成分片移动,但它们不一定都属于纯粹的 Rebalance。

cluster.routing.allocation.cluster_concurrent_rebalance 只限制因为集群不均衡而触发的并发 relocation,默认值为 2。它不会给 allocation filtering 或 forced awareness 触发的迁移设置一个全局上限。真正承载网络恢复的数据节点,还会受 cluster.routing.allocation.node_concurrent_incoming_recoveries 与 cluster.routing.allocation.node_concurrent_outgoing_recoveries 约束,两者默认也都是 2。

Shard Rebalance 与 Recovery 的并发控制关系

因此,维护期看到大量 RELOCATING 时,第一步不是盲目把 cluster_concurrent_rebalance 改成 1,而是先确认迁移来源。如果正在通过 exclude 规则主动疏散节点,仅调这个值可能几乎没有效果。

用动态设置降低迁移并发

当业务 P95/P99 延迟、磁盘利用率或网络吞吐已经受到迁移影响时,可以临时降低单节点恢复并发,并同时把普通重平衡并发降到 1。动态设置应优先使用 persistent,维护结束后再用 null 清除覆盖值,而不是把默认值重新硬编码进去。

下面的示例假设你已准备有集群管理权限的 API Key,并把地址替换为实际 HTTPS 端点。

bash
export ES_URL="https://<HOST>:<PORT>"
export ELASTIC_API_KEY="<API_KEY>"

curl -sS -X PUT "$ES_URL/_cluster/settings?flat_settings=true" \
  -H "Authorization: ApiKey $ELASTIC_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "persistent": {
      "cluster.routing.allocation.cluster_concurrent_rebalance": 1,
      "cluster.routing.allocation.node_concurrent_incoming_recoveries": 1,
      "cluster.routing.allocation.node_concurrent_outgoing_recoveries": 1
    }
  }'

预期输出

json
{
  "persistent": {
    "cluster.routing.allocation.cluster_concurrent_rebalance": "1",
    "cluster.routing.allocation.node_concurrent_incoming_recoveries": "1",
    "cluster.routing.allocation.node_concurrent_outgoing_recoveries": "1"
  },
  "transient": {},
  "acknowledged": true
}

这个做法会降低迁移并行度,但通常也会延长恢复到完全均衡的时间。不要为了追求更快的绿色状态把并发调高到远超默认值;更多并发会放大磁盘随机 I/O、网络吞吐和 segment 恢复开销,未必能明显缩短总恢复时间。

观察迁移是否真的降压

限流后应同时观察分片恢复和用户请求。_cat/recovery 可以确认当前活跃恢复数及阶段,业务侧则要继续看搜索与写入延迟、拒绝数、磁盘吞吐和 CPU。只有“迁移速度下降且业务指标恢复”才能证明限流有效。

bash
curl -sS "$ES_URL/_cat/recovery?active_only=true&v" \
  -H "Authorization: ApiKey $ELASTIC_API_KEY"

预期输出

text
index shard time type stage source_host source_node target_host target_node repository snapshot files files_recovered files_percent files_total bytes bytes_recovered bytes_percent bytes_total translog_ops translog_ops_recovered translog_ops_percent
<INDEX> <ID> <TIME> peer <STAGE> <IP> <NODE> <IP> <NODE> n/a n/a <VALUE> <VALUE> <VALUE>% <VALUE> <VALUE> <VALUE> <VALUE>% <VALUE> <VALUE> <VALUE> <VALUE>%

实际行数和进度会随时变化。若仍有很多迁移,检查它们是否来自 allocation filter、awareness、磁盘水位或未分配分片恢复;这些动作不能仅靠 cluster_concurrent_rebalance 解释。

维护结束后清除临时限制

维护完成且业务资源有余量后,应撤销临时覆盖,让集群回到正常自动均衡。使用 null 可以回退到 elasticsearch.yml 或产品默认值,避免未来升级后仍被旧的硬编码值限制。

bash
curl -sS -X PUT "$ES_URL/_cluster/settings?flat_settings=true" \
  -H "Authorization: ApiKey $ELASTIC_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "persistent": {
      "cluster.routing.allocation.cluster_concurrent_rebalance": null,
      "cluster.routing.allocation.node_concurrent_incoming_recoveries": null,
      "cluster.routing.allocation.node_concurrent_outgoing_recoveries": null
    }
  }'

预期输出

json
{
  "persistent": {},
  "transient": {},
  "acknowledged": true
}

如果维护窗口只是想暂时阻止“为了更均衡而搬家”,可以短时把 cluster.routing.rebalance.enable 设为 none,但它不会停止所有 recovery,也会推迟集群恢复到理想布局。除非有明确的资源保护目标,否则优先保留自动重平衡,只降低必要的并发,并在窗口结束后尽快恢复默认控制。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

控制 Shard Rebalance

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通