消息队列 / 技术文章

Kafka Exactly-Once 到底保证了什么

Kafka Exactly-Once 解决的是一个非常具体的问题:在 Kafka 内完成消费、处理和再次生产时,即使发生重试、进程崩溃或事务回滚,也能让已提交的处理结果与消费进度保持原子一致。它适合需要准确理解消息语义的后端工程师和分布式系统开发人员。读完后,你应能区分“代码执行一次”“消息可见一次”和“业务副作用一次”这三个完全不同的概念,并判断自己的链路到底获得了哪一层保证。

先把“Exactly-Once”拆成三个问题

Kafka 语境里的 Exactly-Once 最容易被误解,是因为“处理一次”实际上混合了多个维度。

第一层是生产结果是否重复。幂等 Producer 可以利用 Producer ID 和序列号抑制特定条件下的重复写入,使同一 Producer 会话对同一分区的重试不会简单变成多条重复记录。

第二层是消费进度和输出是否一致。对于“从 Kafka 读消息→处理→再写 Kafka”这种链路,事务可以把输出记录和消费 offset 放在同一个 Kafka 事务里提交。事务成功,两者一起生效;事务中止,两者一起不生效。

第三层才是业务副作用是否只发生一次。例如处理消息时同时调用支付服务、写数据库、发 HTTP 请求。Kafka 事务并不会自动把这些外部系统纳入 Kafka 的原子提交范围。因此,Kafka EOS 不应被理解成“任意业务逻辑只执行一次”。

最准确的理解是:Kafka 能在受支持的 Kafka 内部链路中,把“哪些输出最终可见”和“消费进度走到哪里”绑定起来;它并没有凭空获得对所有外部世界的全局事务能力。

Kafka EOS 真正保证的是哪条边界

把一条典型链路画成:

input topic → consumer → processing → output topic

在普通的至少一次处理里,最典型的问题是进程在写完 output topic 之后、提交消费 offset 之前崩溃。恢复后的消费者会再次读取原消息,于是同一个业务结果可能被再次写出。

Kafka 事务改变的是这两个动作之间的关系。处理后的输出记录与对应消费 offset 可以进入同一个事务,最后由事务提交决定它们是否一起成为有效结果。

因此可以把 EOS 的核心关系写成:

commit(output)=commit(offset)commit(output) = commit(offset)

这里的重点不是“业务代码只被调用一次”,而是“成功提交的 Kafka 输出与消费进度保持原子关系”。

对于直接使用 Kafka Producer、Consumer 实现的 consume-process-produce 模式,事务 Producer 可以通过 sendOffsetsToTransaction 将消费进度纳入事务,再通过 commitTransaction 一并提交。

一个典型的调用顺序如下:

java
producer.initTransactions();

while (running) {
    ConsumerRecords<String, String> records = consumer.poll(Duration.ofMillis(1000));

    if (records.isEmpty()) {
        continue;
    }

    producer.beginTransaction();
    try {
        for (ConsumerRecord<String, String> record : records) {
            ProducerRecord<String, String> output = transform(record);
            producer.send(output);
        }

        producer.sendOffsetsToTransaction(
            currentOffsets(records),
            consumer.groupMetadata()
        );

        producer.commitTransaction();
    } catch (Exception e) {
        producer.abortTransaction();
    }
}

预期结果:事务成功时,输出记录和对应消费 offset 一起提交;事务中止时,这次事务中的输出不会以已提交事务消息的形式被 read_committed 消费者看到,同时消费进度不会按这次处理成功推进。

为什么 read_committed 是 EOS 链路的一半

事务解决了“提交还是回滚”的问题,isolation.level=read_committed 解决的是“消费者看到什么”的问题。

Kafka 的事务消息可能已经写入日志,但此时并不意味着所有消费者都应该把它当成最终结果。事务完成之前,消费者可能处于等待状态;事务最终 abort 后,相关记录也不应被当成成功结果交给 read_committed 消费者。

因此,下面两个消费者看到的内容可能不同:

isolation.level 对事务消息的可见性
read_uncommitted 可以读到已提交、已中止以及尚未完成事务相关的记录
read_committed 只返回已提交事务中的消息,以及非事务消息

read_committed 还有一个经常被忽略的代价:它的读取位置受 Last Stable Offset(LSO)约束。当分区前方存在尚未完成的事务时,消费者可能暂时无法读取高水位之后的部分记录。

所以,“Producer 开事务”而下游消费者仍然使用 read_uncommitted,并不等于整个链路已经获得了你通常理解的事务结果可见性。

幂等 Producer 和事务不是一回事

幂等和事务经常被一起讨论,但它们解决的是不同问题。

幂等 Producer 主要处理生产请求重试造成的重复写入问题。比如 Producer 发出一条记录后,Broker 已经写成功,但响应在网络中丢失。Producer 重试时,幂等机制可以利用协议中的身份和序列信息识别重复发送。

事务则提供更大的原子范围:不仅可以把多条输出记录作为一个整体提交,还可以把消费 offset 一并纳入事务。于是“输出”和“消费进度”不再是两个独立完成的动作。

可以把关系概括为:

幂等 = 降低重复写入

事务 = 把多个 Kafka 内部结果绑定为一个原子提交单元

EOS = 在正确的消费、事务和可见性组合下,让 Kafka 内部处理结果具备 exactly-once 的提交语义

因此,仅仅设置 enable.idempotence=true,并不能自动得到完整的 consume-process-produce Exactly-Once 语义;反过来,事务 Producer 本身也不意味着所有外部业务副作用天然具备 exactly-once。

Kafka EOS 不保证外部系统只发生一次副作用

这是判断 EOS 边界时最重要的一条。

假设处理 Kafka 消息时执行:

Kafka input → 业务计算 → Kafka output

这条链路可以利用 Kafka 事务获得强一致提交关系。

但如果变成:

Kafka input → 调用支付 API → 写 Kafka output

支付 API 的调用结果已经发生在 Kafka 事务之外。即使随后 Kafka 事务 abort,支付服务也不会因为 Kafka 回滚而自动撤销。

同样地:

Kafka input → UPDATE MySQL → commit Kafka transaction

MySQL 的提交与 Kafka 的提交也不是天然同一个原子事务。Kafka 事务成功失败,只能决定 Kafka 自己管理的那些事务资源;它不会自动回滚已经提交的数据库修改。

因此,外部副作用通常需要额外设计,例如业务幂等键、去重表、Outbox/Inbox 模式,或由外部系统提供自己的事务与幂等协议。核心原则只有一个:不要把 Kafka 的 exactly-once 误写成“端到端所有系统 exactly-once”。

“处理一次”为什么不是字面意义上的代码执行一次

在故障场景中,一个 Kafka record 对应的处理逻辑可能实际运行不止一次。例如事务中的处理已经执行,随后 Producer 所在进程崩溃;恢复后,新一轮处理可能再次读取该消息。

这并不自动说明 EOS 失效。

因为 EOS 关注的是最终提交结果,而不是要求运行时的每一次函数调用都只发生一次。第一次处理产生的 Kafka 输出如果随事务一起 abort,那么这些结果不会作为成功事务结果对 read_committed 消费者稳定可见。恢复后的第二次处理成功提交后,最终业务输出仍可以只有一个有效的提交结果。

所以工程上更严谨的表达是:

可能重复执行 ≠ 必然重复产生已提交结果

这也是为什么把“exactly once execution”与“exactly once processing result”混为一谈,会导致很多错误的监控和验收标准。

判断一条链路是否真的有 EOS

可以沿着下面五个问题逐项判断,而不是只看某个配置项。

  1. 输入是不是 Kafka 消息,目标输出是不是也由 Kafka 管理?如果目标是数据库、HTTP 服务或其他外部系统,就需要继续检查外部副作用。
  2. 输出记录和消费 offset 是否处于同一个 Kafka 事务中?对于原生 Consumer/Producer 链路,应检查是否正确使用 sendOffsetsToTransaction。
  3. 下游消费者是否使用 read_committed?否则已中止事务中的记录仍可能被读取。
  4. Producer 的事务身份是否稳定且正确设计?使用相同 transactional.id 的实例之间存在 fencing 关系,错误的并发或实例复用会导致旧 Producer 失去事务资格。
  5. 验收的是“最终提交结果”,还是“业务代码绝对只执行一次”?如果验收标准是后者,那么 Kafka EOS 本身并不足以满足要求。

最终可以用一句话判断:Kafka Exactly-Once 不是“世界上这条业务只发生一次”,而是“在 Kafka 能控制的事务边界内,失败重试不会让多个互相矛盾的处理结果同时成为成功提交结果”。真正跨数据库、HTTP、支付、邮件等外部系统时,必须继续沿着副作用边界做幂等和一致性设计。

目录与阅读设置

记录一个想法

Kafka Exactly-Once 到底保证了什么

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通