消息队列 / 系统课时

Broker 扩容与分区迁移

Broker 扩容与分区迁移

新增 Broker 只会增加可用容量,不会自动把已有分区均匀搬过去。本课按“注册新节点、生成方案、限速迁移、验证副本与 Leader”的顺序完成一次可回滚的扩容,避免迁移流量反过来压垮线上业务。

学习目标

  • 确认新 Broker 已正常加入集群且具备承载副本的条件
  • 使用 kafka-reassign-partitions.sh 生成、审查并限速执行迁移方案
  • 验证 ISR、副本位置和 Leader 分布,识别迁移完成但负载仍不均的情况

扩容前先确认新节点真的可用

以下流程以使用 --bootstrap-server 的现代 Kafka 管理工具为例。新 Broker 必须使用唯一节点 ID,并与现有集群保持一致的集群身份、安全协议和关键监听配置;磁盘目录、文件权限、网络连通性、机架信息与监控采集也要在迁移前确认。

启动新 Broker 后,可先从集群元数据视角确认它已经被其他节点发现。将地址替换为实际集群入口:

bash
bin/kafka-broker-api-versions.sh \
  --bootstrap-server <HOST>:<PORT>

预期输出:

text
<HOST>:<PORT> (id: <ID> rack: <VALUE>) -> (
  ...
)
<HOST>:<PORT> (id: <ID> rack: <VALUE>) -> (
  ...
)

输出中应能看到新增 Broker 的节点 ID;具体 API 列表、主机、端口和 rack 值会随版本与环境不同。节点注册成功后仍不要立刻大规模搬分区,先确认磁盘、网络、请求延迟和副本相关指标处于健康状态。

Kafka 扩容后的分区副本迁移与限速关系

先生成方案,不要直接手搬分区

假设要把 orders topic 的现有分区重新分布到 Broker 1,2,3,4。先准备 topic 清单:

json
{"topics":[{"topic":"orders"}],"version":1}

将其保存为 <PATH>/topics-to-move.json,然后只生成候选方案:

bash
bin/kafka-reassign-partitions.sh \
  --bootstrap-server <HOST>:<PORT> \
  --topics-to-move-json-file <PATH>/topics-to-move.json \
  --broker-list "1,2,3,4" \
  --generate

预期输出:

text
Current partition replica assignment
<CURRENT_ASSIGNMENT_JSON>

Proposed partition reassignment configuration
<PROPOSED_ASSIGNMENT_JSON>

--generate 只给出候选方案,不会开始迁移。把 Current assignment 保存为回滚依据,再把 Proposed assignment 的 JSON 原样保存为 <PATH>/expand-reassignment.json。审查时至少确认副本因子没有被意外改变、新 Broker 确实获得副本、同一分区的副本没有落到同一 Broker;如果配置了 rack,还要检查副本故障域分散是否符合预期。

限速执行并持续观察迁移

副本重分配会产生大量 Broker 间网络和磁盘 IO。生产环境应先用保守限速启动,再根据业务吞吐、磁盘利用率、请求延迟和副本追赶速度调整。下面示例把 Broker 间迁移上限设为每秒 50000000 字节:

bash
bin/kafka-reassign-partitions.sh \
  --bootstrap-server <HOST>:<PORT> \
  --reassignment-json-file <PATH>/expand-reassignment.json \
  --execute \
  --throttle 50000000

预期输出:

text
The inter-broker throttle limit was set to 50000000 B/s
Successfully started partition reassignment for <TOPIC>-<PARTITION>

实际输出会按迁移分区列出状态。限速不是越低越安全:如果新写入速度长期高于副本可追赶速度,迁移可能迟迟无法完成;此时应结合线上负载调整 throttle,而不是盲目等待。

验证副本完成后再看 Leader 是否均衡

迁移结束后先用同一份 reassignment 文件执行验证:

bash
bin/kafka-reassign-partitions.sh \
  --bootstrap-server <HOST>:<PORT> \
  --reassignment-json-file <PATH>/expand-reassignment.json \
  --verify

预期输出:

text
Status of partition reassignment:
Reassignment of partition [orders,<ID>] is completed
Reassignment of partition [orders,<ID>] is completed

随后检查 topic 的副本与 ISR:

bash
bin/kafka-topics.sh \
  --bootstrap-server <HOST>:<PORT> \
  --topic orders \
  --describe

预期输出:

text
Topic: orders  Partition: <ID>  Leader: <ID>  Replicas: <ID>,<ID>,<ID>  Isr: <ID>,<ID>,<ID>
Topic: orders  Partition: <ID>  Leader: <ID>  Replicas: <ID>,<ID>,<ID>  Isr: <ID>,<ID>,<ID>

每个分区的 Isr 应最终覆盖预期副本;若副本已经均匀落到四台 Broker,但 Leader 仍集中在少数节点,写入和读取压力仍可能倾斜。可先统计 --describe 输出中的 Leader 分布,再决定是否安排首选副本选举,而不要把“副本均衡”误认为“Leader 与流量已经均衡”。

扩容验收应同时满足三件事:迁移任务完成、ISR 恢复健康、Leader 与磁盘/网络负载没有明显热点。只有这三项都成立,新 Broker 才真正承担了集群压力,而不是仅仅出现在节点列表中。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

Broker 扩容与分区迁移

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通