消息队列 / 系统课时
Broker 扩容与分区迁移
Broker 扩容与分区迁移
新增 Broker 只会增加可用容量,不会自动把已有分区均匀搬过去。本课按“注册新节点、生成方案、限速迁移、验证副本与 Leader”的顺序完成一次可回滚的扩容,避免迁移流量反过来压垮线上业务。
学习目标
- 确认新 Broker 已正常加入集群且具备承载副本的条件
- 使用
kafka-reassign-partitions.sh生成、审查并限速执行迁移方案 - 验证 ISR、副本位置和 Leader 分布,识别迁移完成但负载仍不均的情况
扩容前先确认新节点真的可用
以下流程以使用 --bootstrap-server 的现代 Kafka 管理工具为例。新 Broker 必须使用唯一节点 ID,并与现有集群保持一致的集群身份、安全协议和关键监听配置;磁盘目录、文件权限、网络连通性、机架信息与监控采集也要在迁移前确认。
启动新 Broker 后,可先从集群元数据视角确认它已经被其他节点发现。将地址替换为实际集群入口:
bin/kafka-broker-api-versions.sh \
--bootstrap-server <HOST>:<PORT>预期输出:
<HOST>:<PORT> (id: <ID> rack: <VALUE>) -> (
...
)
<HOST>:<PORT> (id: <ID> rack: <VALUE>) -> (
...
)输出中应能看到新增 Broker 的节点 ID;具体 API 列表、主机、端口和 rack 值会随版本与环境不同。节点注册成功后仍不要立刻大规模搬分区,先确认磁盘、网络、请求延迟和副本相关指标处于健康状态。

先生成方案,不要直接手搬分区
假设要把 orders topic 的现有分区重新分布到 Broker 1,2,3,4。先准备 topic 清单:
{"topics":[{"topic":"orders"}],"version":1}将其保存为 <PATH>/topics-to-move.json,然后只生成候选方案:
bin/kafka-reassign-partitions.sh \
--bootstrap-server <HOST>:<PORT> \
--topics-to-move-json-file <PATH>/topics-to-move.json \
--broker-list "1,2,3,4" \
--generate预期输出:
Current partition replica assignment
<CURRENT_ASSIGNMENT_JSON>
Proposed partition reassignment configuration
<PROPOSED_ASSIGNMENT_JSON>--generate 只给出候选方案,不会开始迁移。把 Current assignment 保存为回滚依据,再把 Proposed assignment 的 JSON 原样保存为 <PATH>/expand-reassignment.json。审查时至少确认副本因子没有被意外改变、新 Broker 确实获得副本、同一分区的副本没有落到同一 Broker;如果配置了 rack,还要检查副本故障域分散是否符合预期。
限速执行并持续观察迁移
副本重分配会产生大量 Broker 间网络和磁盘 IO。生产环境应先用保守限速启动,再根据业务吞吐、磁盘利用率、请求延迟和副本追赶速度调整。下面示例把 Broker 间迁移上限设为每秒 50000000 字节:
bin/kafka-reassign-partitions.sh \
--bootstrap-server <HOST>:<PORT> \
--reassignment-json-file <PATH>/expand-reassignment.json \
--execute \
--throttle 50000000预期输出:
The inter-broker throttle limit was set to 50000000 B/s
Successfully started partition reassignment for <TOPIC>-<PARTITION>实际输出会按迁移分区列出状态。限速不是越低越安全:如果新写入速度长期高于副本可追赶速度,迁移可能迟迟无法完成;此时应结合线上负载调整 throttle,而不是盲目等待。
验证副本完成后再看 Leader 是否均衡
迁移结束后先用同一份 reassignment 文件执行验证:
bin/kafka-reassign-partitions.sh \
--bootstrap-server <HOST>:<PORT> \
--reassignment-json-file <PATH>/expand-reassignment.json \
--verify预期输出:
Status of partition reassignment:
Reassignment of partition [orders,<ID>] is completed
Reassignment of partition [orders,<ID>] is completed随后检查 topic 的副本与 ISR:
bin/kafka-topics.sh \
--bootstrap-server <HOST>:<PORT> \
--topic orders \
--describe预期输出:
Topic: orders Partition: <ID> Leader: <ID> Replicas: <ID>,<ID>,<ID> Isr: <ID>,<ID>,<ID>
Topic: orders Partition: <ID> Leader: <ID> Replicas: <ID>,<ID>,<ID> Isr: <ID>,<ID>,<ID>每个分区的 Isr 应最终覆盖预期副本;若副本已经均匀落到四台 Broker,但 Leader 仍集中在少数节点,写入和读取压力仍可能倾斜。可先统计 --describe 输出中的 Leader 分布,再决定是否安排首选副本选举,而不要把“副本均衡”误认为“Leader 与流量已经均衡”。
扩容验收应同时满足三件事:迁移任务完成、ISR 恢复健康、Leader 与磁盘/网络负载没有明显热点。只有这三项都成立,新 Broker 才真正承担了集群压力,而不是仅仅出现在节点列表中。