消息队列 / 系统课时
选择可靠性方案
选择可靠性方案
这节解决的不是“哪个方案最高级”,而是根据重复是否可接受、结果是否必须原子产出,以及链路是否跨越外部系统,选择刚好满足业务语义的可靠性方案,避免为不需要的强一致性支付复杂度。
学习目标
- 能区分幂等、事务与更弱的投递语义。
- 能根据输出目标和失败场景选择方案。
- 能识别 Kafka 事务无法自动覆盖外部副作用的边界。
先回答三个判断问题
第一,重复结果是否允许?如果业务天然可重复执行,或可以通过业务唯一键、状态条件等方式安全去重,通常不必一开始就追求完整 EOS。
第二,一次处理是否会产生多个必须同时成功的 Kafka 输出?如果一个输入会产生多条结果,且要求“全部成功或全部不可见”,事务才成为关键机制。Kafka 事务可以把多分区、多主题的生产以及消费 offset 更新纳入原子提交。:contentReference[oaicite:5]{index=5}
第三,最终结果是否写入 Kafka 之外的系统?这是最容易误判的一层。Kafka 事务不能自动把数据库提交、外部 HTTP 调用或第三方支付一起纳入 Kafka 的原子事务,外部系统必须参与一致性设计。:contentReference[oaicite:6]{index=6}

幂等方案适合什么场景
当重复执行不会产生错误结果时,幂等往往是成本最低的可靠性手段。例如根据业务唯一键执行插入或更新,重复消费同一输入只会得到相同的最终状态。它并没有让“消费进度”和“输出结果”原子绑定,而是让重复发生后仍然安全,因此要重点验证幂等条件是否真的成立。
这里还要区分生产端幂等与业务幂等。Kafka producer 的 idempotence 用于降低重试导致的重复记录;业务幂等则由消费者处理逻辑和目标系统的数据模型保证,两者解决的问题不同。:contentReference[oaicite:7]{index=7}
事务方案适合什么场景
当一个输入的处理结果必须以整体形式写入 Kafka,例如同时写入多个 topic、多个 partition,且不允许消费者看到半成品时,应优先考虑 Kafka 事务;消费 offset 也应与这些输出放在同一次事务提交中。下游读取事务结果时,需要使用 read_committed 才能获得对应的可见性语义。:contentReference[oaicite:8]{index=8}
Kafka Streams 就是这种思路的典型实现:输入 offset、状态存储更新和 Kafka 输出能够以原子方式提交,从而形成端到端的 exactly-once processing 边界。:contentReference[oaicite:9]{index=9}
跨外部系统时要换一种思路
如果业务链路是“消费 Kafka → 更新数据库 → 调用外部服务”,不要因为消费者启用了事务就宣布整个链路达到 EOS。数据库提交成功后 Kafka 事务可能失败,或者外部调用成功后进程才崩溃,这些副作用都已经超出 Kafka 事务边界。
此时更现实的做法通常是让外部结果具备幂等能力,或者让结果和处理进度进入同一个外部一致性边界;具体选事务、Outbox、去重表还是补偿机制,要看目标系统的能力和业务允许的失败窗口。Kafka 官方也将外部系统的一致性明确视为需要目标系统协作的问题。:contentReference[oaicite:10]{index=10}
用一张决策表落地
| 业务条件 | 更合适的起点 | 关键验证点 |
|---|---|---|
| 重复执行可以接受且结果可幂等 | 至少一次 + 幂等 | 唯一键、条件更新、重复请求后的最终状态 |
| Kafka 内有多个必须整体成功的输出 | Kafka 事务 | 输出与 offset 是否同一事务提交 |
| 需要严格控制事务输出的可见性 | Kafka 事务 + read_committed |
下游是否使用正确隔离级别 |
| Kafka 后还有数据库或外部服务副作用 | 外部系统协同方案 | 外部结果与处理进度如何保持一致 |
选择可靠性方案时,真正需要证明的是故障发生后系统会留下什么状态。只要能明确重试、崩溃和部分成功时的结果边界,就能判断是否真的需要事务,而不是把 Exactly-Once 当成默认配置项。