消息队列 / 系统课时
理解副本选举风险
理解副本选举风险
本课解决副本故障时“谁能成为 Leader、什么时候可能丢数据”的判断问题。你将区分 ISR 正常选举、传统非正常选举与 Kafka 4.x 的 ELR 安全接管路径,并用命令核对集群实际启用状态和分区副本状态。
学习目标
- 区分基于 ISR 的正常选举、ELR 接管与传统非 ISR 异常选举
- 根据 Leader、ISR、ELR 与副本状态判断数据风险
- 使用 Kafka 命令核对 ELR 特性级别以及指定分区的 Leader、ISR 和副本集合
先看清三类接管路径
一个分区可以有多个副本,但只有满足同步条件的副本位于 ISR。Leader 故障后,只要 ISR 中还有可用副本,正常选举就优先从 ISR 中产生新 Leader,因此最容易保持已经提交的数据边界。
传统的 unclean leader election 则允许在缺少可用 ISR 时从 ISR 之外选择副本。被选中的副本可能落后于故障前 Leader,因此恢复可用性的代价可能是日志截断和数据丢失。unclean.leader.election.enable 默认关闭,生产环境应把它视为明确的一致性与可用性取舍,而不是普通恢复手段。
Kafka 4.x 的 ELR 不能与 unclean leader election 混为一谈。ELR 用于记录当前不在 ISR、但仍被控制器判定处在安全数据边界内的副本;只有在 ELR 功能实际启用时,这些副本才会进入对应的安全接管逻辑。

正常选举为什么更安全
假设分区有副本 A、B、C,当前 A 是 Leader,ISR 为 A,B,C 因复制落后退出 ISR。若 A 故障,正常选举可以由 B 接管,而 C 不会作为普通 ISR 候选直接成为 Leader。
治理时不能只看副本总数。即使 replication.factor=3,如果 ISR 只剩一个副本,安全容错空间仍然很小。应同时观察副本集合和 ISR 大小,并继续排查复制延迟、broker 故障、磁盘或网络问题。
异常接管为什么可能丢数据
如果 ISR 中已经没有可安全接管的副本,而集群又允许传统非正常选举,某个日志落后的副本可能被提升为 Leader。它不一定包含原 Leader 最近的记录,新 Leader 建立后可能通过日志截断形成新的权威日志,因此客户端随后读到的数据可能出现回退。
是否接受这种路径,本质上取决于业务的 RPO、RTO 和写入停顿容忍度。对不能接受已确认写入丢失的业务,应优先恢复安全副本,而不是为了缩短不可用时间直接放开非正常选举。
Kafka 4.x 先判断 ELR 是否启用
Kafka 4.0 提供了 ELR,但 4.0 集群默认并不会直接启用该协议;需要把 eligible.leader.replicas.version 的最终特性级别提升到 1 后,KRaft controller 才开始跟踪 ELR。从 Kafka 4.1 开始,新建集群默认启用 ELR,但“运行的是 4.1、4.2 或 4.3”仍不等于“这个现有集群一定已经启用 ELR”,升级而来的集群尤其要检查最终特性级别。
当 ELR 已启用时,选举顺序应按实际分区状态理解:ISR 非空时优先从 ISR 中选择;ISR 无可用候选而 ELR 非空时,再从未被 fencing 的 ELR 中选择;如果仍没有候选,控制器还可能考虑未被 fencing 的 last known leader。ELR 的意义是扩大“已验证安全”的候选范围,不是让任意落后副本都能无损接管。
用命令核对实际状态
下面把“协议是否启用”和“分区当前状态”合并成一个检查流程。<PATH>、<HOST>、<PORT>、<TOPIC> 和 <ID> 都是动态值,实际环境可能不同。
<PATH>/bin/kafka-features.sh \
--bootstrap-server <HOST>:<PORT> \
describe
<PATH>/bin/kafka-topics.sh \
--bootstrap-server <HOST>:<PORT> \
--describe \
--topic <TOPIC>预期输出(节选)
Feature: eligible.leader.replicas.version SupportedMinVersion: 0 SupportedMaxVersion: 1 FinalizedVersionLevel: 1 Epoch: <ID>
Topic: <TOPIC> Partition: 0 Leader: 1 Replicas: 1,2,3 Isr: 1,2
Topic: <TOPIC> Partition: 1 Leader: 2 Replicas: 2,3,1 Isr: 2,3,1第一行若显示 FinalizedVersionLevel: 1,说明集群已经启用 ELR 协议;若为 0,就不能按 ELR 已生效来分析故障。kafka-topics.sh --describe 用于核对 Leader、Replicas 和 ISR,但 ELR 详细列表应通过支持 DescribeTopicPartitions 的 Admin API 获取,不能从上面的 Topic 文本输出自行推断。
故障处置的判断顺序
Leader 故障时,先确认 ISR 是否还有可用副本;有则优先走正常选举。若 ISR 已无可用候选,再确认集群是否真的启用了 ELR,并核对当前分区是否存在可用 ELR。只有这些安全接管路径都不可用时,才进入是否接受传统非正常选举及其数据风险的业务决策。
最终要区分三个概念:ISR 是正常同步候选集合;ELR 是 Kafka 4.x 在协议启用后维护的额外安全候选;unclean leader election 则可能让未被验证为安全的非 ISR 副本接管。版本能力、集群启用状态和分区实时状态必须一起判断,不能把“Kafka 4.x 支持 ELR”简化成“所有 Kafka 4.x 集群都自动按 ELR 运行”。