消息队列 / 技术文章
Kafka 副本不同步与分区不可用怎么排查
线上 Kafka 出现副本持续不同步、ISR 缩小、Under Replicated Partitions(URP)持续增长,甚至分区进入不可用状态时,SRE、平台工程师和 DBA 最容易陷入“先重启 Broker、先迁副本、先调参数”的误操作。本文给出一条以证据为中心的排查路径:先确认影响范围,再区分复制追不上、Broker 资源异常、控制面异常和确实没有可用 Leader,最后依据数据可靠性与业务可用性的优先级决定恢复动作。
先判断:是副本不同步,还是分区真的不可用
先把现象拆成三个层次,不要把 URP、ISR 缩小和分区不可用视为同一个故障。
副本健康异常:Replica 仍属于某个 Partition 的副本集合,但没有及时追上 Leader,常表现为 ISR 缩小、URP 增加。此时分区可能仍然可读写,重点是找出为什么 Follower 无法追平。
服务风险上升:ISR 持续减少,已经接近 min.insync.replicas 的安全边界;即使当前客户端仍成功,也意味着下一次 Broker 故障可能把问题升级为不可用或写入失败。
分区不可用:当前 Partition 没有可服务的 Leader,客户端可能出现 metadata、produce 或 fetch 相关错误。此时排查重点从“为什么副本落后”转向“为什么没有可用 Leader,以及是否存在数据安全风险”。
第一轮只回答三个问题:哪些 Partition 受影响、这些 Partition 的 Leader/ISR 在哪里、受影响范围是否集中到某个 Broker 或故障域。
用 Partition 视角建立故障清单
不要只看集群级的 URP 数量。先把异常定位到具体 Topic、Partition、Leader、Replicas 和 ISR,再观察它们是否集中在同一 Broker。
可以先执行:
kafka-topics.sh --bootstrap-server <BOOTSTRAP> --describe --topic <TOPIC>预期结果中应能看到类似 Partition、Leader、Replicas、Isr 等字段。重点记录异常 Partition 的四项信息:
Leader当前落在哪个 Broker。Replicas是否包含故障节点。Isr比Replicas少了哪些成员。- 多个异常 Partition 是否反复指向同一个 Broker。
若大量异常 Partition 的缺失 ISR 都集中于同一 Broker,应优先检查该 Broker 的网络、磁盘、CPU、请求负载和进程状态;若异常跨越多个 Broker,则继续检查集群控制面、网络故障域和更广泛的资源瓶颈。
这一步的关键不是立刻修复,而是建立“异常 Partition → 缺失副本 → Broker”的映射,避免把局部 Broker 故障误判成整个集群复制机制失效。
判断 Follower 为什么追不上 Leader
确认具体副本后,再区分是“副本还活着但追不上”,还是“Broker 已经无法正常参与复制”。常见证据可以按四个方向收集。
| 证据方向 | 重点观察 | 常见指向 |
|---|---|---|
| Network | Broker 间延迟、丢包、吞吐、连接异常 | Replica Fetch 受阻 |
| Disk | 磁盘空间、I/O 延迟、文件系统错误 | 日志读取或写入变慢 |
| CPU | CPU 使用率、GC、系统负载 | Broker 处理复制请求变慢 |
| Request Load | 请求队列、复制请求延迟、整体请求压力 | 复制吞吐被业务流量挤压 |
可以先从 Broker 日志与系统指标交叉验证,而不是只依据一个监控指标做结论。例如某个 Follower 长时间不在 ISR,如果同时出现磁盘 I/O 延迟上升和复制请求延迟升高,那么“复制能力不足”比“单纯 ISR 参数异常”更值得优先验证。
排查时尤其要注意时间窗口:先确定 ISR 开始缩小的时间,再对齐 Broker 资源、网络和日志事件。不要把故障发生后的恢复动作当成故障根因。
判断 ISR 缩小与 URP 的风险等级
ISR 缩小本身不是“分区马上不可用”的同义词。真正需要关注的是 ISR 是否持续收缩、剩余同步副本是否仍满足写入安全门槛,以及异常是否正在扩大。
可以将风险理解为:
ISR 短暂缩小且快速恢复:更接近瞬时抖动,重点确认是否已经自动回收并重新加入 ISR,以及客户端错误是否出现。
ISR 持续缩小且 URP 持续增加:说明复制压力没有解除,应优先恢复副本追赶能力,避免继续消耗故障余量。
ISR 已接近安全下限:此时不要把副本迁移、批量重分配和大规模参数修改同时推进。先控制额外变更,降低继续扩大故障面的概率。
分区已经没有可用 Leader:进入分区不可用路径。此时必须同时判断是否存在仍可选举的 ISR 副本,以及是否允许承担潜在数据丢失风险;不能为了恢复写入而直接默认采用破坏性恢复动作。
因此,URP 更适合用来衡量“副本健康压力”,而分区是否存在可用 Leader 才直接决定“服务是否能够继续提供”。
分区不可用时按选举链路继续定位
当 Partition 已不可用,不要继续只盯着 Follower 的复制延迟。应围绕 Leader 选举链路回答四个问题:原 Leader 为什么失效、是否存在可用 ISR、Controller 是否观察到成员变化、是否成功产生新的 Leader。
首先再次确认异常 Partition 的 Leader、Replicas 和 Isr。如果原 Leader 已失联,而 ISR 中仍有健康副本,通常优先核对控制面事件和新 Leader 选举结果;如果 ISR 中没有可用副本,则问题已经从普通副本落后升级为数据可用性风险。
还应区分两种情况:
单个或少量 Partition 不可用:优先检查对应 Leader Broker、对应副本状态和局部网络路径。
大量 Partition 在同一时间窗口同时不可用或频繁换 Leader:优先检查 Controller/控制平面、Broker 批量失联、网络故障域以及集群级资源压力。
如果同时出现频繁 Leader 迁移、多个 Broker 抖动和大量客户端 metadata 错误,不应把问题简单归因于某一个 Partition 的数据文件,而应把故障范围提升到集群控制面。
用最小风险原则决定下一步动作
排查完成后,动作顺序应由风险决定,而不是由“最快恢复”的直觉决定。
副本仍然存活,只是追不上:优先消除网络、磁盘、CPU 或请求压力,随后观察 ISR 是否重新收敛。此阶段避免无证据的大规模副本迁移。
单个 Broker 异常且承载大量问题副本:先保护受影响 Partition,再考虑受控下线、恢复 Broker 或规划副本重分配;每次变更后都验证复制压力是否下降。
分区无可用 Leader:先确认是否存在可安全选举的 ISR。没有安全副本时,应明确业务是否允许潜在数据丢失,再决定是否进入降级恢复路径。
故障正在扩大:立即降低并发变更,暂停非必要批量操作,把恢复资源集中到高业务重要性的 Partition,并持续观察 URP、ISR、Leader 变化和客户端成功率。
可以用下面的验证命令确认恢复是否真正发生:
kafka-topics.sh --bootstrap-server <BOOTSTRAP> --describe --topic <TOPIC>预期结果:异常 Partition 的 Isr 成员开始恢复并趋近 Replicas,Leader 保持稳定;同时监控侧应看到 URP 下降、相关客户端错误率回落。只有副本状态、分区可用性和客户端表现同时恢复,才应把故障从“处置中”切换为“观察中”。
形成可复用的排查证据链
线上故障复盘时,不要只记录“重启了某 Broker”或“副本恢复正常”。至少保留一条完整证据链:客户端现象 → 异常 Partition → Leader/Replicas/ISR → 受影响 Broker → 资源或控制面证据 → 处置动作 → 恢复后的副本与客户端指标。
这条链路能够帮助你区分“副本同步能力不足”和“分区已经失去服务能力”两类故障,也能判断一次恢复动作究竟解决了根因,还是只是暂时让指标回落。对于反复出现 ISR 缩小的集群,还应继续把故障聚合到 Broker、磁盘目录、网络路径和业务流量特征上,最终形成针对具体故障模式的告警、门禁与处置手册。