NoSQL 与搜索 / 系统课时
控制 Shard Rebalance
控制 Shard Rebalance
Shard Rebalance 本身是集群恢复均衡的重要机制,但节点扩缩容、维护和故障恢复叠加时,大量分片迁移会同时争抢磁盘、网络和 CPU。本课的目标不是“关闭重平衡”,而是区分迁移来源,用正确的并发设置把资源消耗限制在业务可承受范围内。
学习目标
- 区分 Rebalance、Recovery 与强制分配迁移,知道不同设置实际限制哪一类动作
- 使用动态集群设置暂时降低重平衡和恢复并发,并在维护结束后恢复默认行为
- 通过 Recovery 与业务延迟指标判断限流是否有效,而不是只看集群是否变绿
先分清哪一种分片搬迁
Rebalance 是“分片已经可用,但布局不够均衡”时发生的重新分布。节点加入、节点离开后的恢复、数据层级变化、allocation filter、awareness 约束和磁盘水位都可能造成分片移动,但它们不一定都属于纯粹的 Rebalance。
cluster.routing.allocation.cluster_concurrent_rebalance 只限制因为集群不均衡而触发的并发 relocation,默认值为 2。它不会给 allocation filtering 或 forced awareness 触发的迁移设置一个全局上限。真正承载网络恢复的数据节点,还会受 cluster.routing.allocation.node_concurrent_incoming_recoveries 与 cluster.routing.allocation.node_concurrent_outgoing_recoveries 约束,两者默认也都是 2。

因此,维护期看到大量 RELOCATING 时,第一步不是盲目把 cluster_concurrent_rebalance 改成 1,而是先确认迁移来源。如果正在通过 exclude 规则主动疏散节点,仅调这个值可能几乎没有效果。
用动态设置降低迁移并发
当业务 P95/P99 延迟、磁盘利用率或网络吞吐已经受到迁移影响时,可以临时降低单节点恢复并发,并同时把普通重平衡并发降到 1。动态设置应优先使用 persistent,维护结束后再用 null 清除覆盖值,而不是把默认值重新硬编码进去。
下面的示例假设你已准备有集群管理权限的 API Key,并把地址替换为实际 HTTPS 端点。
export ES_URL="https://<HOST>:<PORT>"
export ELASTIC_API_KEY="<API_KEY>"
curl -sS -X PUT "$ES_URL/_cluster/settings?flat_settings=true" \
-H "Authorization: ApiKey $ELASTIC_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"persistent": {
"cluster.routing.allocation.cluster_concurrent_rebalance": 1,
"cluster.routing.allocation.node_concurrent_incoming_recoveries": 1,
"cluster.routing.allocation.node_concurrent_outgoing_recoveries": 1
}
}'预期输出
{
"persistent": {
"cluster.routing.allocation.cluster_concurrent_rebalance": "1",
"cluster.routing.allocation.node_concurrent_incoming_recoveries": "1",
"cluster.routing.allocation.node_concurrent_outgoing_recoveries": "1"
},
"transient": {},
"acknowledged": true
}这个做法会降低迁移并行度,但通常也会延长恢复到完全均衡的时间。不要为了追求更快的绿色状态把并发调高到远超默认值;更多并发会放大磁盘随机 I/O、网络吞吐和 segment 恢复开销,未必能明显缩短总恢复时间。
观察迁移是否真的降压
限流后应同时观察分片恢复和用户请求。_cat/recovery 可以确认当前活跃恢复数及阶段,业务侧则要继续看搜索与写入延迟、拒绝数、磁盘吞吐和 CPU。只有“迁移速度下降且业务指标恢复”才能证明限流有效。
curl -sS "$ES_URL/_cat/recovery?active_only=true&v" \
-H "Authorization: ApiKey $ELASTIC_API_KEY"预期输出
index shard time type stage source_host source_node target_host target_node repository snapshot files files_recovered files_percent files_total bytes bytes_recovered bytes_percent bytes_total translog_ops translog_ops_recovered translog_ops_percent
<INDEX> <ID> <TIME> peer <STAGE> <IP> <NODE> <IP> <NODE> n/a n/a <VALUE> <VALUE> <VALUE>% <VALUE> <VALUE> <VALUE> <VALUE>% <VALUE> <VALUE> <VALUE> <VALUE>%实际行数和进度会随时变化。若仍有很多迁移,检查它们是否来自 allocation filter、awareness、磁盘水位或未分配分片恢复;这些动作不能仅靠 cluster_concurrent_rebalance 解释。
维护结束后清除临时限制
维护完成且业务资源有余量后,应撤销临时覆盖,让集群回到正常自动均衡。使用 null 可以回退到 elasticsearch.yml 或产品默认值,避免未来升级后仍被旧的硬编码值限制。
curl -sS -X PUT "$ES_URL/_cluster/settings?flat_settings=true" \
-H "Authorization: ApiKey $ELASTIC_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"persistent": {
"cluster.routing.allocation.cluster_concurrent_rebalance": null,
"cluster.routing.allocation.node_concurrent_incoming_recoveries": null,
"cluster.routing.allocation.node_concurrent_outgoing_recoveries": null
}
}'预期输出
{
"persistent": {},
"transient": {},
"acknowledged": true
}如果维护窗口只是想暂时阻止“为了更均衡而搬家”,可以短时把 cluster.routing.rebalance.enable 设为 none,但它不会停止所有 recovery,也会推迟集群恢复到理想布局。除非有明确的资源保护目标,否则优先保留自动重平衡,只降低必要的并发,并在窗口结束后尽快恢复默认控制。