消息队列 / 系统课时
原子提交输出与 offset
原子提交输出与 offset
本课解决消费到生产链路中的一致性问题:业务生成输出后,如何让输出记录与消费进度一起提交。核心做法是把输出发送和 sendOffsetsToTransaction 放进同一个 Kafka 事务,最终由一次 commitTransaction 决定二者是否同时生效。
学习目标
- 理解
sendOffsetsToTransaction为什么能把消费 offset 纳入当前事务。 - 掌握 consume-transform-produce 场景中的事务调用顺序。
- 能识别手动提交 offset 与事务提交之间的错误边界。
原子性的关键边界
在消费到生产模式中,一次处理通常包含读取输入消息、发送处理后的输出、推进消费组 offset 三个动作。真正的 EOS 边界不是代码依次调用了三个 API,而是输出发送和消费进度提交必须属于同一个生产者事务。
sendOffsetsToTransaction 会把指定的消费 offset 交给当前事务,等事务最终提交后,offset 才作为本次事务的一部分生效。事务中止时,本次事务中的输出不会作为已提交事务数据对 read_committed 消费者可见,对应的消费进度也不会因为这次事务而提交。这里提交的 offset 应表示“下一条要消费的 offset”,通常是最后处理成功消息的 offset 加一。

正确的调用顺序
典型流程是先准备事务型 producer,消费者关闭自动提交;消费消息后开始事务,发送处理结果,再调用 sendOffsetsToTransaction,最后执行 commitTransaction。sendOffsetsToTransaction 不能被理解成“立即提交 offset”,它只是把 offset 加入当前事务。
对于支持 ConsumerGroupMetadata 的 Kafka 客户端,推荐把当前消费者的 ConsumerGroupMetadata 传给 sendOffsetsToTransaction,而不是只传 group.id 字符串。这样提交时可以基于消费组元数据校验当前成员身份,避免消费者成员已经变化时仍提交错误的消费进度。
主示例
下面给出一个完整的最小实现。它使用 Kafka 自带的 String 序列化器,关闭自动提交,并按每个 TopicPartition 记录本批次最后处理成功位置的下一位。示例依赖 kafka-clients,运行前需准备可连接的 Kafka Broker,并创建 input-topic 与 output-topic。
import org.apache.kafka.clients.consumer.ConsumerConfig;
import org.apache.kafka.clients.consumer.ConsumerRecord;
import org.apache.kafka.clients.consumer.ConsumerRecords;
import org.apache.kafka.clients.consumer.KafkaConsumer;
import org.apache.kafka.clients.consumer.OffsetAndMetadata;
import org.apache.kafka.clients.producer.KafkaProducer;
import org.apache.kafka.clients.producer.ProducerConfig;
import org.apache.kafka.clients.producer.ProducerRecord;
import org.apache.kafka.common.TopicPartition;
import java.time.Duration;
import java.util.HashMap;
import java.util.List;
import java.util.Map;
import java.util.Properties;
public class KafkaEosExample {
public static void main(String[] args) {
Properties consumerProps = new Properties();
consumerProps.put(ConsumerConfig.BOOTSTRAP_SERVERS_CONFIG, "localhost:9092");
consumerProps.put(ConsumerConfig.GROUP_ID_CONFIG, "eos-demo-group");
consumerProps.put(ConsumerConfig.KEY_DESERIALIZER_CLASS_CONFIG,
"org.apache.kafka.common.serialization.StringDeserializer");
consumerProps.put(ConsumerConfig.VALUE_DESERIALIZER_CLASS_CONFIG,
"org.apache.kafka.common.serialization.StringDeserializer");
consumerProps.put(ConsumerConfig.ENABLE_AUTO_COMMIT_CONFIG, "false");
Properties producerProps = new Properties();
producerProps.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG, "localhost:9092");
producerProps.put(ProducerConfig.KEY_SERIALIZER_CLASS_CONFIG,
"org.apache.kafka.common.serialization.StringSerializer");
producerProps.put(ProducerConfig.VALUE_SERIALIZER_CLASS_CONFIG,
"org.apache.kafka.common.serialization.StringSerializer");
producerProps.put(ProducerConfig.ENABLE_IDEMPOTENCE_CONFIG, "true");
producerProps.put(ProducerConfig.TRANSACTIONAL_ID_CONFIG, "eos-demo-producer-1");
try (KafkaConsumer<String, String> consumer = new KafkaConsumer<>(consumerProps);
KafkaProducer<String, String> producer = new KafkaProducer<>(producerProps)) {
consumer.subscribe(List.of("input-topic"));
producer.initTransactions();
ConsumerRecords<String, String> records = consumer.poll(Duration.ofSeconds(1));
if (records.isEmpty()) {
System.out.println("No records");
return;
}
producer.beginTransaction();
try {
Map<TopicPartition, OffsetAndMetadata> offsets = new HashMap<>();
for (ConsumerRecord<String, String> record : records) {
String output = record.value().toUpperCase();
producer.send(new ProducerRecord<>("output-topic", record.key(), output));
TopicPartition partition = new TopicPartition(record.topic(), record.partition());
OffsetAndMetadata current = offsets.get(partition);
OffsetAndMetadata next = new OffsetAndMetadata(record.offset() + 1);
// 同一分区只提交本批次最后处理成功位置的下一位。
if (current == null || next.offset() > current.offset()) {
offsets.put(partition, next);
}
}
producer.sendOffsetsToTransaction(offsets, consumer.groupMetadata());
producer.commitTransaction();
System.out.println("EOS transaction committed");
} catch (Exception e) {
producer.abortTransaction();
System.out.println("EOS transaction aborted: " + e.getClass().getSimpleName());
}
}
}
}预期输出
EOS transaction committed上面的示例把输出发送、offset 计算和 sendOffsetsToTransaction 放在同一事务中。若事务执行过程中进入异常分支并调用 abortTransaction,这批事务输出不会作为已提交事务数据对 read_committed 消费者可见,消费组 offset 也不会因为这次事务而提交。
实际运行时,Kafka 客户端依赖、Broker 地址和 Topic 名称需要按环境调整;示例中的 localhost:9092、input-topic、output-topic 是固定示例值,不代表你的实际部署参数。
为什么不能再手动 commit
采用这种 EOS 消费到生产模式后,不应在同一处理路径继续使用 commitSync 或 commitAsync 单独提交消费 offset。原因不是两个 API 不能同时出现,而是它们属于不同的提交边界:手动 commit 会让 offset 脱离当前生产者事务。
例如先发送输出,再单独 commitSync,应用可能在两者之间崩溃,导致输出已经存在而消费进度尚未提交;反过来先提交 offset,再发送输出,则可能出现消费进度已经前进但输出没有成功。把 offset 交给 sendOffsetsToTransaction,才能让它和当前事务中的输出共同等待最终提交结果。
验证原子结果
验证 EOS 时,不要只看业务代码没有抛异常。更有效的方式是在事务提交前制造一次失败,再分别观察目标 Topic 的可见消息和消费组 offset。
可以用下面的命令查看消费组当前 offset。运行前请将 <GROUP_ID> 和 <BOOTSTRAP> 替换为实际值。
kafka-consumer-groups.sh --bootstrap-server <BOOTSTRAP> --group <GROUP_ID> --describe预期输出
GROUP TOPIC PARTITION CURRENT-OFFSET LOG-END-OFFSET
<GROUP_ID> input-topic 0 <COMMITTED> <END>故障演练时,如果事务在 commitTransaction 成功前被中止,目标输出不应作为已提交事务消息继续对 read_committed 消费者可见,消费组 offset 也不会因为这次未提交事务而永久前进。重新拉取同一输入后,应用仍可能再次处理这批消息,这正是事务边界与消费进度绑定后得到的结果。
真正需要牢记的是:sendOffsetsToTransaction 不是立即提交 offset 的快捷方式,而是把 offset加入当前事务;最终是否生效,仍由 commitTransaction 的结果决定。