消息队列 / 系统课时
掌握事务 Producer API
掌握事务 Producer API
本课把 Kafka 事务 Producer API 串成一条可执行的调用链。你会掌握 initTransactions、beginTransaction、sendOffsetsToTransaction、commitTransaction 和 abortTransaction 的调用时机,并知道失败时哪些调用不能省略。
学习目标
- 按正确顺序使用 Kafka 事务 Producer API
- 理解消费位点提交为什么要通过
sendOffsetsToTransaction纳入同一事务 - 能识别提交、回滚和初始化阶段的常见调用错误
事务 API 的正确顺序
事务 Producer 的典型生命周期可以概括为:创建 Producer → initTransactions() → beginTransaction() → 发送消息 → 可选地调用 sendOffsetsToTransaction() → commitTransaction() 或 abortTransaction()。
其中 initTransactions() 是初始化步骤,一个 Producer 生命周期内通常调用一次;beginTransaction() 开启一笔具体事务;commitTransaction() 和 abortTransaction() 二选一结束当前事务。
sendOffsetsToTransaction() 用于把消费者位点提交纳入事务。当一个消费端处理输入消息后再产生输出消息时,它可以让“输出消息写入”和“输入位点提交”绑定到同一事务,从而避免只提交位点却没成功写出结果,或只写出结果却重复消费输入。

初始化事务 Producer
配置事务 Producer 时,最关键的是 enable.idempotence=true 和稳定的 transactional.id。调用 initTransactions() 后,Producer 才进入可以使用事务 API 的状态。
import java.util.Properties;
import org.apache.kafka.clients.producer.KafkaProducer;
import org.apache.kafka.common.serialization.StringSerializer;
public class InitTransactionDemo {
public static void main(String[] args) {
Properties props = new Properties();
props.put("bootstrap.servers", "localhost:<PORT>");
props.put("key.serializer", StringSerializer.class.getName());
props.put("value.serializer", StringSerializer.class.getName());
props.put("enable.idempotence", "true");
props.put("transactional.id", "orders-producer-<ID>");
try (KafkaProducer<String, String> producer = new KafkaProducer<>(props)) {
producer.initTransactions();
System.out.println("transaction-ready");
}
}
}预期输出:
transaction-ready如果未调用 initTransactions() 就直接进入事务操作,Producer 不会被当作已经完成事务初始化的实例使用,调用链会因状态不正确而失败。
开启、提交与回滚
beginTransaction() 之后,当前 Producer 的发送操作属于这笔事务。业务执行成功时调用 commitTransaction();发生需要撤销整笔事务的异常时调用 abortTransaction()。
import java.util.Properties;
import org.apache.kafka.clients.producer.KafkaProducer;
import org.apache.kafka.clients.producer.ProducerRecord;
import org.apache.kafka.common.serialization.StringSerializer;
public class TransactionApiDemo {
public static void main(String[] args) {
Properties props = new Properties();
props.put("bootstrap.servers", "localhost:<PORT>");
props.put("key.serializer", StringSerializer.class.getName());
props.put("value.serializer", StringSerializer.class.getName());
props.put("enable.idempotence", "true");
props.put("transactional.id", "orders-producer-<ID>");
try (KafkaProducer<String, String> producer = new KafkaProducer<>(props)) {
producer.initTransactions();
producer.beginTransaction();
try {
producer.send(new ProducerRecord<>("orders", "order-1", "created"));
producer.commitTransaction();
System.out.println("transaction-committed");
} catch (RuntimeException e) {
producer.abortTransaction();
System.out.println("transaction-aborted");
throw e;
}
}
}
}预期输出:
transaction-committed当发送或后续业务处理抛出需要回滚事务的异常时,预期会进入 transaction-aborted 路径;真实输出还可能伴随客户端异常信息,具体取决于失败位置。
把消费位点加入事务
在“消费输入 → 处理 → 产生输出”的模式中,仅仅调用 consumer.commitSync() 无法把位点和输出写入绑定成一个 Kafka 事务。应使用 sendOffsetsToTransaction() 将消费位点作为事务的一部分提交。
import java.util.Collections;
import java.util.HashMap;
import java.util.Map;
import java.util.Properties;
import org.apache.kafka.clients.consumer.ConsumerRecord;
import org.apache.kafka.clients.consumer.OffsetAndMetadata;
import org.apache.kafka.clients.consumer.KafkaConsumer;
import org.apache.kafka.clients.producer.KafkaProducer;
import org.apache.kafka.clients.producer.ProducerRecord;
import org.apache.kafka.common.TopicPartition;
import org.apache.kafka.common.serialization.StringDeserializer;
import org.apache.kafka.common.serialization.StringSerializer;
public class ConsumeTransformProduceDemo {
public static void main(String[] args) {
Properties consumerProps = new Properties();
consumerProps.put("bootstrap.servers", "localhost:<PORT>");
consumerProps.put("group.id", "transform-group-<ID>");
consumerProps.put("enable.auto.commit", "false");
consumerProps.put("key.deserializer", StringDeserializer.class.getName());
consumerProps.put("value.deserializer", StringDeserializer.class.getName());
Properties producerProps = new Properties();
producerProps.put("bootstrap.servers", "localhost:<PORT>");
producerProps.put("key.serializer", StringSerializer.class.getName());
producerProps.put("value.serializer", StringSerializer.class.getName());
producerProps.put("enable.idempotence", "true");
producerProps.put("transactional.id", "transform-producer-<ID>");
try (KafkaConsumer<String, String> consumer = new KafkaConsumer<>(consumerProps);
KafkaProducer<String, String> producer = new KafkaProducer<>(producerProps)) {
consumer.subscribe(Collections.singletonList("input-topic"));
producer.initTransactions();
System.out.println("transaction-ready");
}
}
}预期输出:
transaction-ready这是一个初始化骨架示例,完整处理循环还需要轮询记录、发送输出以及根据本批次记录构造位点 Map。核心边界是:位点必须在事务开启后通过 sendOffsetsToTransaction() 加入当前事务,并在最终 commitTransaction() 时一起提交。
失败处理时最容易犯的错误
不要在 commitTransaction() 已经失败后无条件继续调用一系列普通发送操作;事务可能已经进入不可继续使用的状态。应根据抛出的异常判断当前 Producer 是否需要中止、关闭并重新创建。
也不要把 beginTransaction()、sendOffsetsToTransaction() 和 commitTransaction() 分散到互不关联的生命周期中。事务 API 的价值正是在一个明确边界内,把输出记录和相关位点组成一个原子提交单元。
最后还要区分“业务异常”和“Producer 致命异常”:业务校验失败通常可以进入 abortTransaction();Producer 因事务状态、epoch 或不可恢复错误进入失败态时,继续复用同一个实例可能并不安全,必须遵循客户端异常语义处理。