消息队列 / 技术文章
Kafka Exactly-Once 到底保证了什么
Kafka Exactly-Once 解决的是一个非常具体的问题:在 Kafka 内完成消费、处理和再次生产时,即使发生重试、进程崩溃或事务回滚,也能让已提交的处理结果与消费进度保持原子一致。它适合需要准确理解消息语义的后端工程师和分布式系统开发人员。读完后,你应能区分“代码执行一次”“消息可见一次”和“业务副作用一次”这三个完全不同的概念,并判断自己的链路到底获得了哪一层保证。
先把“Exactly-Once”拆成三个问题
Kafka 语境里的 Exactly-Once 最容易被误解,是因为“处理一次”实际上混合了多个维度。
第一层是生产结果是否重复。幂等 Producer 可以利用 Producer ID 和序列号抑制特定条件下的重复写入,使同一 Producer 会话对同一分区的重试不会简单变成多条重复记录。
第二层是消费进度和输出是否一致。对于“从 Kafka 读消息→处理→再写 Kafka”这种链路,事务可以把输出记录和消费 offset 放在同一个 Kafka 事务里提交。事务成功,两者一起生效;事务中止,两者一起不生效。
第三层才是业务副作用是否只发生一次。例如处理消息时同时调用支付服务、写数据库、发 HTTP 请求。Kafka 事务并不会自动把这些外部系统纳入 Kafka 的原子提交范围。因此,Kafka EOS 不应被理解成“任意业务逻辑只执行一次”。
最准确的理解是:Kafka 能在受支持的 Kafka 内部链路中,把“哪些输出最终可见”和“消费进度走到哪里”绑定起来;它并没有凭空获得对所有外部世界的全局事务能力。
Kafka EOS 真正保证的是哪条边界
把一条典型链路画成:
input topic → consumer → processing → output topic
在普通的至少一次处理里,最典型的问题是进程在写完 output topic 之后、提交消费 offset 之前崩溃。恢复后的消费者会再次读取原消息,于是同一个业务结果可能被再次写出。
Kafka 事务改变的是这两个动作之间的关系。处理后的输出记录与对应消费 offset 可以进入同一个事务,最后由事务提交决定它们是否一起成为有效结果。
因此可以把 EOS 的核心关系写成:
这里的重点不是“业务代码只被调用一次”,而是“成功提交的 Kafka 输出与消费进度保持原子关系”。
对于直接使用 Kafka Producer、Consumer 实现的 consume-process-produce 模式,事务 Producer 可以通过 sendOffsetsToTransaction 将消费进度纳入事务,再通过 commitTransaction 一并提交。
一个典型的调用顺序如下:
producer.initTransactions();
while (running) {
ConsumerRecords<String, String> records = consumer.poll(Duration.ofMillis(1000));
if (records.isEmpty()) {
continue;
}
producer.beginTransaction();
try {
for (ConsumerRecord<String, String> record : records) {
ProducerRecord<String, String> output = transform(record);
producer.send(output);
}
producer.sendOffsetsToTransaction(
currentOffsets(records),
consumer.groupMetadata()
);
producer.commitTransaction();
} catch (Exception e) {
producer.abortTransaction();
}
}预期结果:事务成功时,输出记录和对应消费 offset 一起提交;事务中止时,这次事务中的输出不会以已提交事务消息的形式被 read_committed 消费者看到,同时消费进度不会按这次处理成功推进。
为什么 read_committed 是 EOS 链路的一半
事务解决了“提交还是回滚”的问题,isolation.level=read_committed 解决的是“消费者看到什么”的问题。
Kafka 的事务消息可能已经写入日志,但此时并不意味着所有消费者都应该把它当成最终结果。事务完成之前,消费者可能处于等待状态;事务最终 abort 后,相关记录也不应被当成成功结果交给 read_committed 消费者。
因此,下面两个消费者看到的内容可能不同:
| isolation.level | 对事务消息的可见性 |
|---|---|
read_uncommitted |
可以读到已提交、已中止以及尚未完成事务相关的记录 |
read_committed |
只返回已提交事务中的消息,以及非事务消息 |
read_committed 还有一个经常被忽略的代价:它的读取位置受 Last Stable Offset(LSO)约束。当分区前方存在尚未完成的事务时,消费者可能暂时无法读取高水位之后的部分记录。
所以,“Producer 开事务”而下游消费者仍然使用 read_uncommitted,并不等于整个链路已经获得了你通常理解的事务结果可见性。
幂等 Producer 和事务不是一回事
幂等和事务经常被一起讨论,但它们解决的是不同问题。
幂等 Producer 主要处理生产请求重试造成的重复写入问题。比如 Producer 发出一条记录后,Broker 已经写成功,但响应在网络中丢失。Producer 重试时,幂等机制可以利用协议中的身份和序列信息识别重复发送。
事务则提供更大的原子范围:不仅可以把多条输出记录作为一个整体提交,还可以把消费 offset 一并纳入事务。于是“输出”和“消费进度”不再是两个独立完成的动作。
可以把关系概括为:
幂等 = 降低重复写入
事务 = 把多个 Kafka 内部结果绑定为一个原子提交单元
EOS = 在正确的消费、事务和可见性组合下,让 Kafka 内部处理结果具备 exactly-once 的提交语义
因此,仅仅设置 enable.idempotence=true,并不能自动得到完整的 consume-process-produce Exactly-Once 语义;反过来,事务 Producer 本身也不意味着所有外部业务副作用天然具备 exactly-once。
Kafka EOS 不保证外部系统只发生一次副作用
这是判断 EOS 边界时最重要的一条。
假设处理 Kafka 消息时执行:
Kafka input → 业务计算 → Kafka output
这条链路可以利用 Kafka 事务获得强一致提交关系。
但如果变成:
Kafka input → 调用支付 API → 写 Kafka output
支付 API 的调用结果已经发生在 Kafka 事务之外。即使随后 Kafka 事务 abort,支付服务也不会因为 Kafka 回滚而自动撤销。
同样地:
Kafka input → UPDATE MySQL → commit Kafka transaction
MySQL 的提交与 Kafka 的提交也不是天然同一个原子事务。Kafka 事务成功失败,只能决定 Kafka 自己管理的那些事务资源;它不会自动回滚已经提交的数据库修改。
因此,外部副作用通常需要额外设计,例如业务幂等键、去重表、Outbox/Inbox 模式,或由外部系统提供自己的事务与幂等协议。核心原则只有一个:不要把 Kafka 的 exactly-once 误写成“端到端所有系统 exactly-once”。
“处理一次”为什么不是字面意义上的代码执行一次
在故障场景中,一个 Kafka record 对应的处理逻辑可能实际运行不止一次。例如事务中的处理已经执行,随后 Producer 所在进程崩溃;恢复后,新一轮处理可能再次读取该消息。
这并不自动说明 EOS 失效。
因为 EOS 关注的是最终提交结果,而不是要求运行时的每一次函数调用都只发生一次。第一次处理产生的 Kafka 输出如果随事务一起 abort,那么这些结果不会作为成功事务结果对 read_committed 消费者稳定可见。恢复后的第二次处理成功提交后,最终业务输出仍可以只有一个有效的提交结果。
所以工程上更严谨的表达是:
可能重复执行 ≠ 必然重复产生已提交结果
这也是为什么把“exactly once execution”与“exactly once processing result”混为一谈,会导致很多错误的监控和验收标准。
判断一条链路是否真的有 EOS
可以沿着下面五个问题逐项判断,而不是只看某个配置项。
- 输入是不是 Kafka 消息,目标输出是不是也由 Kafka 管理?如果目标是数据库、HTTP 服务或其他外部系统,就需要继续检查外部副作用。
- 输出记录和消费 offset 是否处于同一个 Kafka 事务中?对于原生 Consumer/Producer 链路,应检查是否正确使用
sendOffsetsToTransaction。 - 下游消费者是否使用
read_committed?否则已中止事务中的记录仍可能被读取。 - Producer 的事务身份是否稳定且正确设计?使用相同
transactional.id的实例之间存在 fencing 关系,错误的并发或实例复用会导致旧 Producer 失去事务资格。 - 验收的是“最终提交结果”,还是“业务代码绝对只执行一次”?如果验收标准是后者,那么 Kafka EOS 本身并不足以满足要求。
最终可以用一句话判断:Kafka Exactly-Once 不是“世界上这条业务只发生一次”,而是“在 Kafka 能控制的事务边界内,失败重试不会让多个互相矛盾的处理结果同时成为成功提交结果”。真正跨数据库、HTTP、支付、邮件等外部系统时,必须继续沿着副作用边界做幂等和一致性设计。