消息队列 / 技术文章

Kafka ISR 与 Leader 选举如何保证可用性

Broker 故障、副本持续落后或 Leader 突然失联时,Kafka 能否继续读写,关键取决于哪些副本仍在 ISR、这些副本是否具备成为 Leader 的条件,以及生产端采用了怎样的确认策略。本文面向需要理解 Kafka 故障行为的后端工程师、SRE 与平台工程师,重点解释 ISR 与 Leader 选举如何共同维持分区可用性,并帮助你判断何时能够安全切换、何时必须接受短暂不可用,以及为什么放宽选举条件可能带来数据风险。

ISR 为什么是安全选举的基础

一个 Partition 通常包含多个 Replica,但并不是所有 Replica 在任意时刻都具备承担 Leader 的条件。ISR(In-Sync Replicas)表示当前仍满足同步条件的副本集合,Leader 本身也属于 ISR。

理解 ISR 可以抓住两个关系:一是 Replica 描述副本集合,二是 ISR 描述当前与 Leader 保持足够同步、可参与正常选举的副本集合。某个 Follower 因网络抖动、磁盘 I/O、Broker 负载过高或复制追赶不及时而掉出 ISR 后,它仍然可能属于该 Partition 的 Replica 集合,但通常不再是正常 Leader 选举的优先候选。

这使 Kafka 在故障发生时能够优先从已经同步的副本中恢复服务,而不是为了追求立即可用,直接选择一个可能落后较多的副本。

text
Partition P0
Replicas = {Broker A, Broker B, Broker C}
ISR      = {Broker A, Broker B}
Leader   = Broker A

Broker A 故障后:
正常选举候选:Broker B
ISR 外副本:Broker C

预期结果:当原 Leader 故障且仍存在可用 ISR 副本时,分区可以从 ISR 中选择新的 Leader,Broker C 即使保存着部分数据,也不会因为“只要有副本就能接管”而直接成为正常选举结果。

Leader 故障后如何恢复分区可用性

Leader 是客户端读写该 Partition 的主要服务入口。当 Leader 所在 Broker 故障后,控制平面需要检测故障、确定新的 Leader,并向客户端传播新的元数据。

正常情况下,新的 Leader 来自仍然可用的 ISR。这样做的核心不是“最快找到一个副本”,而是优先选择数据状态更可靠的副本,从而在恢复可用性的同时控制数据丢失风险。

可以把过程理解为四步:

  1. 原 Leader 发生故障。
  2. Kafka 判断该 Partition 当前有哪些可用的 ISR 成员。
  3. 从满足正常选举条件的副本中确定新的 Leader。
  4. 客户端刷新元数据后,将后续 Produce 与 Fetch 请求发送到新的 Leader。

因此,Leader 选举真正承担的是“把服务入口从失效副本转移到可用副本”,而 ISR 则决定了这次转移通常能否同时保持较好的数据安全性。

为什么 ISR 缩小会提高故障风险

ISR 缩小本身不等于分区立即不可用,但它会降低故障时可供正常选举的副本余量。三副本 Partition 如果 ISR 从三个缩小到两个,仍可能正常服务;如果继续缩小到只剩一个成员,那么该成员一旦发生故障,已经没有另一个同步副本可以接管。

因此,观察 ISR 时不要只看“有没有 URP”这一类结果指标,还要关注 ISR 数量变化、退出和重新加入的持续性,以及多个异常 Partition 是否集中落在同一个 Broker。

text
正常:
Replicas = {A, B, C}
ISR      = {A, B, C}
Leader   = A

Follower C 持续落后:
Replicas = {A, B, C}
ISR      = {A, B}
Leader   = A

随后 Leader A 故障:
可用正常选举候选 = B

预期结果:ISR 从 {A,B,C} 缩小到 {A,B} 后,分区仍可以从 B 继续提供服务,但故障容忍余量已经下降;如果 B 也不可用,则该 Partition 可能进入不可服务状态。

可用性与数据安全为什么不是同一个指标

Leader 选举解决的是“谁来提供服务”,并不自动保证“客户端最后写入的数据一定存在于所有副本”。是否允许在缺少同步副本时继续写入,还受到生产确认策略和最小同步副本约束影响。

例如,Producer 使用 acks=all 时,服务端需要按照当前同步副本条件完成确认;配合合理的 min.insync.replicas,可以限制 ISR 过少时继续接受写入,从而避免在数据冗余明显下降时仍持续扩大风险。

另一方面,若为了恢复服务而允许从 ISR 之外的副本进行非洁净选举,可能让一个数据较旧的副本成为 Leader。这样做可以扩大“继续提供服务”的范围,但代价是潜在的数据丢失或数据回退风险。

properties
acks=all
min.insync.replicas=2

预期结果:当 Partition 的 ISR 数量低于 min.insync.replicas 时,采用 acks=all 的生产请求可能无法继续成功写入;这表现为可用性下降,但同时避免在副本安全余量不足时继续确认高可靠写入。

正常选举与降级选举怎么判断

故障处理时可以先问两个问题:第一,是否仍存在可用 ISR;第二,业务是否明确允许潜在数据丢失。

如果存在可用 ISR,通常优先走正常选举,让同步副本接管 Leader。这个路径同时兼顾服务恢复和数据安全。

如果没有可用 ISR,就进入更严格的风险判断。此时继续保持不可用,可以等待原有副本恢复并避免数据风险;另一条路径是在业务明确接受潜在数据损失的前提下,采用允许非洁净选举的配置或操作,让非 ISR 副本承担服务角色。

这里最重要的判断不是“哪个选项能最快恢复”,而是“当前业务 SLA 是否允许用数据风险换取可用性”。因此,非洁净选举不应被当作普通故障恢复动作,而应视为带有明确数据代价的降级手段。

线上排查时应该观察哪些证据

遇到 Leader 频繁切换、分区短暂不可用或 Producer 错误时,建议把 Partition 级状态与 Broker 级资源信号放在同一个时间窗口内判断。

先确认异常 Partition 的 Leader、Replicas 和 ISR,再观察 Leader 变化次数、ISR 收缩时间点,以及受影响 Partition 是否集中分布于同一个 Broker。随后结合该 Broker 的网络、磁盘 I/O、请求负载和进程健康状态判断,区分“单副本追不上”“单 Broker 故障”与“控制平面或整体网络异常”。

bash
kafka-topics.sh --bootstrap-server <IP>:<PORT> --describe --topic <TOPIC>

预期结果:输出中可以看到目标 Partition 的 Leader、Replicas 和 Isr 信息。将同一 Partition 在故障前后的输出进行对比,可以判断 Leader 是否发生切换、ISR 是否收缩,以及故障后是否已经恢复到预期副本状态。

排查时还应避免把“Leader 已切换”直接等同于“业务已经完全恢复”。客户端还可能经历元数据刷新、重试和连接切换,业务端仍需结合 Produce 成功率、Consumer Lag、请求延迟等信号验证恢复结果。

用一个故障场景串起整个机制

假设 Partition P0 有三个副本 A、B、C,最初 Leader=A、ISR={A,B,C}。随后 C 因磁盘延迟持续升高而落后并退出 ISR,此时变为 ISR={A,B}。如果 A 突然故障,Kafka 仍可从 B 中选出新的 Leader,P0 可以恢复对外服务。

如果 B 随后也故障,P0 已没有剩余可用 ISR。此时继续保持不可用,能够避免直接接受一个可能明显落后的副本;若业务明确要求尽快恢复服务,则需要评估非洁净选举带来的数据风险。

因此,这套机制可以概括为:ISR 决定正常选举的安全候选范围,Leader 选举决定服务入口如何转移,生产确认与最小同步副本约束决定写入安全边界,而非洁净选举则是在极端情况下用数据风险换取可用性的降级路径。线上故障判断应始终同时回答“现在谁能服务”和“这样恢复会不会牺牲数据安全”。

目录与阅读设置

记录一个想法

Kafka ISR 与 Leader 选举如何保证可用性

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通