消息队列 / 系统课时

区分可用性与数据安全

区分可用性与数据安全

本课把副本故障拆成两个经常被混在一起的维度:业务现在还能不能读写,以及已经确认成功的数据是否仍有足够可靠的副本。掌握这一区分后,才能避免把“服务暂时不可写”误判成“数据已经丢失”。

学习目标

  • 区分不可写、不可读、无可用 Leader 与潜在数据丢失
  • 准确理解 acks=all、ISR 与 min.insync.replicas 的职责边界
  • 建立先判断可用性、再评估数据安全的故障处置顺序

四种风险不要混为一谈

一个分区发生副本故障时,至少要分别回答两个问题:客户端现在还能不能完成请求,以及已经确认成功的数据是否仍有可用于恢复的同步副本。

状态 业务表现 主要风险 是否等同于数据丢失
分区暂时不可写 Produce 请求失败或被拒绝 写入可用性下降 否
分区暂时不可读 Consume 请求无法正常完成 读取可用性下降 否
无可用 Leader 分区无法正常提供读写 分区整体不可用 否,但恢复路径更敏感
潜在数据丢失 某些已确认数据可能只存在于已故障副本 持久性受损 可能,需进一步确认

前三项主要描述“服务能不能用”,最后一项描述“数据还能不能可靠恢复”。它们可能同时发生,也可能只发生其中一种。

acks=all 与最小 ISR 是两层规则

acks=all 和 min.insync.replicas 不能合并理解。acks=all 决定一次允许执行的写入需要谁确认:Leader 会等待当前 ISR 中的全部副本确认。min.insync.replicas 决定这次写入是否有资格开始并最终成功:当 ISR 数量低于该门槛时,使用 acks=all 的写入会被拒绝。

主示例使用下面的配置:

properties
# 生产端要求当前 ISR 中全部副本确认
acks=all

# ISR 少于 2 个时,acks=all 写入不允许成功
min.insync.replicas=2

预期结果

text
ISR=3:允许写入;acks=all 需要当前 3 个 ISR 副本全部确认
ISR=2:允许写入;acks=all 需要当前 2 个 ISR 副本全部确认
ISR=1:低于 min.insync.replicas=2,写入被拒绝

这里最容易误解的是第二行:ISR 恰好为 2 时,并不是“因为 min ISR=2,所以只等任意两个副本”;而是当前 ISR 本来就只有两个副本,因此 acks=all 要等这两个副本全部确认。如果当前 ISR 是 3,min.insync.replicas=2 也不会把确认数降成 2。

因此,一次写入因 ISR 不足而失败,首先表示可用性受限,不能直接推出之前已成功确认的数据已经丢失。反过来,即使当前还能写,也不能仅凭写入成功就断定数据绝对安全,还要看副本存活情况、ISR 稳定性和后续 Leader 选举路径。

无 Leader 时先判断恢复路径

分区没有可用 Leader 时,首先发生的是分区不可用。生产者和消费者都会受到影响,但“没有 Leader”本身仍不等于“已确认数据丢失”。

此时应检查哪些副本仍存活、哪些副本的数据足够新,以及能否从合格副本中重新选出 Leader。如果为了尽快恢复服务而允许 ISR 之外的落后副本通过 unclean leader election 接管,就可能让未复制到该副本的数据被截断,因此这才会把可用性问题升级为明确的数据安全风险。

故障处置的判断顺序

发生副本故障时,按下面顺序判断更稳妥:

  1. 确认分区当前是否存在 Leader,并分别观察读、写请求的结果。
  2. 确认 ISR 成员数以及是否低于 min.insync.replicas。
  3. 判断失败写入是正常的安全拒写,还是已经发生异常 Leader 选举。
  4. 核对是否只剩落后副本可接管,并评估数据回退或丢失风险。

较新的 Kafka 版本还可能启用 Eligible Leader Replicas 等机制,因此实际选举行为应结合版本和集群配置判断。核心思路始终不变:先回答“服务是否可用”,再回答“已确认数据是否仍有安全恢复路径”,不要用一个红色告警同时替代这两个判断。

按自己的节奏,确认真正理解。

目录与阅读设置

记录一个想法

区分可用性与数据安全

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通