消息队列 / 系统课时

Kafka 的一致性与可用性取舍

Kafka 的一致性与可用性取舍

Kafka 的可靠性不是一个单独开关,而是副本数量、ISR、生产者确认方式和故障选主策略共同作用的结果。本课把这些机制串起来,帮助你判断何时应该牺牲部分可用性来保护数据,以及哪些配置会改变延迟和吞吐。

学习目标

  • 理解副本、Leader、ISR 与写入确认之间的关系
  • 区分 acks=0、acks=1 和 acks=all 带来的可靠性差异
  • 能为重要业务选择合理的副本与故障恢复策略

Kafka 所说的可靠写入是什么

Kafka 的每个分区拥有一个 Leader 和若干 Follower。生产者只向 Leader 写入,Follower 持续复制 Leader 的日志。正常情况下,副本越充分,单台 broker 故障造成数据丢失的概率越低,但复制和确认也会增加等待时间与网络开销。

这里要区分两个问题:记录已经写到 Leader,不等于记录已经安全存在于足够多的副本中。生产者何时收到成功响应,由 acks 决定;集群允许在多少同步副本存活时继续接受写入,则与 min.insync.replicas 有关。

ISR 如何影响故障后的写入能力

ISR 是当前能够持续跟上 Leader 的同步副本集合。Follower 落后超过允许范围后会退出 ISR;恢复追赶后可以重新加入。Leader 故障时,Kafka通常从符合条件的同步副本中选择新的 Leader,从而尽量保证新 Leader 拥有已经复制的数据。

Kafka 副本、ISR、写入确认与故障选主关系

例如三副本主题设置 min.insync.replicas=2,意味着希望在可靠写入时至少维持两个同步副本。下面的命令需要在至少包含 3 个 broker 的测试集群中执行:

bash
# 三副本主题至少保留两个同步副本,才满足可靠写入基线
kafka-topics.sh --bootstrap-server localhost:9092 --create \
  --topic reliability-demo \
  --partitions 1 \
  --replication-factor 3 \
  --config min.insync.replicas=2

预期输出:

text
Created topic reliability-demo.

实际 broker 地址和命令路径可能不同。如果主题已经存在,创建命令会返回对应的已存在错误,而不是再次创建。

acks 决定生产者等到哪一步

设置 成功响应条件 主要收益 主要风险
acks=0 不等待 broker 确认 延迟最低、发送开销小 发送失败时生产者也可能不知道
acks=1 Leader 接收记录后响应 延迟和可靠性折中 Leader 在副本复制前故障时可能丢失记录
acks=all 当前 ISR 按要求完成确认 数据持久性最高 ISR 不足时可能拒绝写入,延迟也更高

acks=all 不能脱离 min.insync.replicas 单独理解。假设副本因故障只剩 Leader 自己仍在 ISR,而主题要求 min.insync.replicas=2,Kafka 会拒绝这类写入,而不是为了保持服务可写而降低既定的副本保障。

生产者还可以启用幂等写入以降低重试产生重复记录的风险。可靠性要求较高时,通常会把 acks=all、合理的重试策略和幂等生产者作为一组考虑,而不是只调整其中一个参数。

故障恢复是在可用性和数据之间做选择

当 Leader 故障但 ISR 中还有可用副本时,可以通过正常 Leader 选举恢复服务,主要代价是短暂不可用。更棘手的是所有同步副本都不可用、只剩落后的非同步副本存活,此时系统面临明确取舍。

保持非同步副本不能成为 Leader,可以避免用旧日志覆盖更新的数据,但分区可能持续不可用;允许从非同步副本强制选主,则可能更快恢复服务,却可能丢失新 Leader 尚未复制到的记录。对订单、支付、库存等不能接受已确认数据回退的主题,通常应优先保护数据完整性。

一套常用的可靠性基线

对于不能轻易丢失的业务事件,可以从“三副本、acks=all、min.insync.replicas=2、幂等生产者、不从落后副本进行不安全选主”开始,再根据真实故障演练和延迟指标调整。这样一台副本故障时通常仍能继续写入,而再失去一个同步副本时会主动停止可靠写入。

如果业务更关心极低延迟,并且允许少量数据在极端故障下丢失,可以降低确认要求。关键不是寻找所谓最强配置,而是明确故障发生时究竟允许系统选择“暂时不能写”,还是选择“继续写但扩大数据风险”。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

Kafka 的一致性与可用性取舍

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通