消息队列 / 系统课时

Kafka 事务基础

Kafka 事务基础

幂等生产者能消除单个分区上的重试重复,但不能让多条记录作为一个整体提交。本课使用 transactional.id 和 KafkaProducer 的事务 API 完成提交与中止,并通过 read_committed 验证只有已提交事务对消费者可见。

学习目标

  • 说明 transactional.id、事务协调器与事务记录之间的关系
  • 使用 initTransactions()、beginTransaction()、commitTransaction() 和 abortTransaction()
  • 用 read_committed 验证提交与中止的可见性差异

事务把哪些写入绑定在一起

Kafka 事务可以把同一个 Producer 对多个分区、甚至多个 Topic 的一组写入纳入同一事务。事务提交后,这组记录才会对采用 read_committed 隔离级别的消费者整体可见;事务中止后,这类消费者会跳过相应记录。

transactional.id 标识一个逻辑上的事务生产者。Producer 初始化事务能力时会与 Transaction Coordinator 协作,获得用于后续事务的生产者身份;Coordinator 负责追踪事务状态,并在相关分区上完成提交或中止标记。

Kafka Producer 从初始化到提交或中止的事务生命周期

五个核心动作

transactional.id 需要在创建 Producer 时配置。对同一个逻辑生产者,它应在重启后保持稳定;同时运行的不同实例必须使用不同值,否则新实例初始化后可能使旧实例被 fencing,旧实例不能继续提交事务。

  • initTransactions():初始化事务能力,并处理同一 transactional.id 之前未完成的事务状态。
  • beginTransaction():开始一个新的事务边界。
  • commitTransaction():提交当前事务,使其中记录对 read_committed 消费者可见。
  • abortTransaction():中止当前事务,使其中记录不会被 read_committed 消费者当作有效结果读取。

配置了 transactional.id 后,Producer 会使用幂等写入能力,因此事务是在幂等基础上增加跨记录、跨分区的原子提交语义。

完整提交与中止示例

下面示例假设 transaction-demo 是一个全新的 Topic。第一个事务提交两条记录,第二个事务发送一条记录后主动中止,便于后续直接验证可见性。

java
import java.util.Properties;
import org.apache.kafka.clients.producer.KafkaProducer;
import org.apache.kafka.clients.producer.ProducerConfig;
import org.apache.kafka.clients.producer.ProducerRecord;
import org.apache.kafka.common.serialization.StringSerializer;

public class TransactionProducerDemo {
    public static void main(String[] args) throws Exception {
        String bootstrapServers = args.length > 0 ? args[0] : "localhost:9092";
        Properties props = new Properties();
        props.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG, bootstrapServers);
        props.put(ProducerConfig.KEY_SERIALIZER_CLASS_CONFIG, StringSerializer.class.getName());
        props.put(ProducerConfig.VALUE_SERIALIZER_CLASS_CONFIG, StringSerializer.class.getName());
        // 同一逻辑实例重启时保持稳定;并发实例要使用不同 transactional.id。
        props.put(ProducerConfig.TRANSACTIONAL_ID_CONFIG, "orders-writer-1");
        try (KafkaProducer<String, String> producer = new KafkaProducer<>(props)) {
            producer.initTransactions();
            producer.beginTransaction();
            try {
                producer.send(new ProducerRecord<>("transaction-demo", "k1", "committed-A")).get();
                producer.send(new ProducerRecord<>("transaction-demo", "k2", "committed-B")).get();
                producer.commitTransaction();
                System.out.println("transaction-1: committed");
            } catch (Exception e) {
                // 当前事务内任一步失败时,中止事务,不把部分成功暴露给 read_committed 消费者。
                producer.abortTransaction();
                throw e;
            }
            producer.beginTransaction();
            producer.send(new ProducerRecord<>("transaction-demo", "k3", "aborted-C")).get();
            producer.abortTransaction();
            System.out.println("transaction-2: aborted");
        }
    }
}

预期输出:

text
transaction-1: committed
transaction-2: aborted

用 read_committed 验证

在上述全新 Topic 上运行控制台消费者,并把隔离级别设为 read_committed。它会读取第一个事务的两条记录,而跳过第二个已中止事务中的 aborted-C。

bash
kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic transaction-demo --from-beginning --isolation-level read_committed --max-messages 2

预期输出:

text
committed-A
committed-B

实际启动脚本路径可能因 Kafka 安装方式而不同,可将命令名替换为环境中的 <PATH>。如果使用默认的 read_uncommitted 读取方式,则可能看到已中止事务产生的记录,因此验证事务语义时必须明确消费者隔离级别。

transactional.id 的边界

同一个 transactional.id 只应代表一个同时活跃的逻辑写入者。新实例接管这个 ID 后,旧 Producer 后续可能收到 fencing 相关异常;这类错误不能靠继续重试旧实例解决,应关闭旧 Producer,并由拥有当前事务身份的实例继续工作。

Kafka 事务只原子化 Kafka 内部的相关写入,并不会自动把关系数据库更新、HTTP 请求或第三方系统操作纳入同一个事务。如果业务要求“数据库变更与 Kafka 事件不可分割”,通常需要 Outbox、CDC 或其他跨系统一致性设计,而不是直接把外部操作塞进 Kafka 事务。

事务适用于真正需要一组 Kafka 写入共同提交的场景;如果需求只是避免发送重试造成重复,幂等生产者更简单,开销和运维复杂度也更低。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

Kafka 事务基础

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通