消息队列 / 系统课时

执行副本重分配

执行副本重分配

本课解决 Kafka 副本分布不均、故障 Broker 需要撤出副本或新增 Broker 后需要重新平衡的问题。核心不是简单改变副本位置,而是在容量、复制带宽和业务风险可控的前提下规划目标布局、分批迁移,并验证副本真正落位。

学习目标

  • 能根据 Broker 容量、故障范围和副本分布规划重分配方案
  • 能使用 Kafka 副本重分配工具分阶段执行并观察迁移压力
  • 能校验目标副本、ISR 和迁移状态,并识别长期未完成的分区

先规划目标副本集合

副本重分配最关键的输入不是命令,而是目标方案。对每个分区都要明确目标 Broker 列表,并避免同一分区的多个副本继续集中在具有相同故障域风险的节点上。

规划时至少考虑三件事:目标 Broker 容量是否足够,磁盘与网络是否有稳定余量,以及迁移产生的复制流量是否会挤压在线业务。不能因为某个 Broker 当前较空闲,就一次性把大量大分区全部迁过去。

对于故障 Broker 撤出场景,目标是让计划中的副本最终离开故障节点;对于扩容和均衡场景,则更关注副本数量、磁盘占用和流量重新分布。无论哪种情况,都应先形成可审计的目标分配文件,再执行迁移。

Kafka 副本重分配的规划、执行与校验链路

编写并复核重分配方案

Kafka 使用 JSON 文件描述自定义副本重分配方案。下面只迁移 orders 的 0 号分区,用一个最小示例贯穿执行与验证过程;生产环境应把同一批需要迁移的分区纳入经过评审的方案文件。

json
{
  "version": 1,
  "partitions": [
    {
      "topic": "orders",
      "partition": 0,
      "replicas": [2, 3, 4]
    }
  ]
}

该文件依赖集群中确实存在 orders 的 0 号分区,以及 Broker 2、3、4。提交前要核对这些 Broker 的存活状态、磁盘余量、网络能力和故障域分布。--verify 用于检查已经执行的重分配状态,不应把它当成执行前的 JSON 语法或容量预检工具。

分阶段执行迁移

方案复核完成后使用 --execute 启动迁移。生产环境可以同时设置复制流量上限,避免重分配无限制占用 Broker 间带宽;<VALUE> 表示按实际容量确定的字节每秒限制。

bash
kafka-reassign-partitions.sh \
  --bootstrap-server <HOST>:<PORT> \
  --reassignment-json-file <PATH> \
  --execute \
  --throttle <VALUE>

预期输出(关键行)

text
The inter-broker throttle limit was set to <VALUE> B/s
Successfully started partition reassignment for orders-0

实际输出还会包含当前副本分配,并提示保存该分配以便需要时回滚。启动成功只代表控制器接受了重分配任务,不代表数据已经迁移完成,因此应保留这份当前分配信息,并继续观察迁移状态。

大量分区同时重分配会增加磁盘读取、网络传输和日志写入压力。生产环境更适合拆成若干批次,每批完成并确认资源水位稳定后再继续。故障 Broker 撤出时可优先处理 ISR 已缩小或影响可用性的高风险分区,普通均衡则应控制单批数据迁移量。

观察迁移并验证完成状态

迁移期间至少同时观察 Broker 网络与磁盘压力、受影响分区的同步状态,以及业务侧生产和消费延迟。如果资源或业务指标明显恶化,应停止扩大后续批次,先处理已经启动的迁移压力。

使用与 --execute 相同的方案文件检查重分配状态:

bash
kafka-reassign-partitions.sh \
  --bootstrap-server <HOST>:<PORT> \
  --reassignment-json-file <PATH> \
  --verify

预期结果

text
Status of partition reassignment:
Reassignment of partition [orders,0] is completed

若仍在迁移,对应分区会显示为进行中,而不是 completed。因此不能因为 --execute 已成功返回就判定变更结束;应持续执行状态检查,直到计划中的分区全部完成。

随后确认最终副本集合和 ISR:

bash
kafka-topics.sh \
  --bootstrap-server <HOST>:<PORT> \
  --describe \
  --topic orders

预期结果(关键字段)

text
Topic: orders  Partition: 0  Leader: <ID>  Replicas: 2,3,4  Isr: 2,3,4

实际输出格式、Leader ID 和其他字段可能因集群状态与 Kafka 版本不同而变化。最终判断应同时满足三个条件:Replicas 与目标方案一致,Isr 恢复到预期集合,并且计划撤出的旧 Broker 已不再承载这些副本。

如果部分分区长时间没有完成,不要反复提交同一方案碰运气,而应定位具体阻塞原因,例如目标磁盘容量不足、Broker 间网络吞吐受限、目标节点资源紧张或源副本本身不健康。副本重分配应被视为一次受控变更:先规划和复核目标布局,再小批量执行并限制迁移压力,最后用重分配状态、Replicas、Isr 与业务指标共同完成验收。

按自己的节奏,确认真正理解。

目录与阅读设置

记录一个想法

执行副本重分配

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通