消息队列 / 系统课时

原子提交输出与 offset

原子提交输出与 offset

本课解决消费到生产链路中的一致性问题:业务生成输出后,如何让输出记录与消费进度一起提交。核心做法是把输出发送和 sendOffsetsToTransaction 放进同一个 Kafka 事务,最终由一次 commitTransaction 决定二者是否同时生效。

学习目标

  • 理解 sendOffsetsToTransaction 为什么能把消费 offset 纳入当前事务。
  • 掌握 consume-transform-produce 场景中的事务调用顺序。
  • 能识别手动提交 offset 与事务提交之间的错误边界。

原子性的关键边界

在消费到生产模式中,一次处理通常包含读取输入消息、发送处理后的输出、推进消费组 offset 三个动作。真正的 EOS 边界不是代码依次调用了三个 API,而是输出发送和消费进度提交必须属于同一个生产者事务。

sendOffsetsToTransaction 会把指定的消费 offset 交给当前事务,等事务最终提交后,offset 才作为本次事务的一部分生效。事务中止时,本次事务中的输出不会作为已提交事务数据对 read_committed 消费者可见,对应的消费进度也不会因为这次事务而提交。这里提交的 offset 应表示“下一条要消费的 offset”,通常是最后处理成功消息的 offset 加一。

消费进度与事务输出原子提交流程

正确的调用顺序

典型流程是先准备事务型 producer,消费者关闭自动提交;消费消息后开始事务,发送处理结果,再调用 sendOffsetsToTransaction,最后执行 commitTransaction。sendOffsetsToTransaction 不能被理解成“立即提交 offset”,它只是把 offset 加入当前事务。

对于支持 ConsumerGroupMetadata 的 Kafka 客户端,推荐把当前消费者的 ConsumerGroupMetadata 传给 sendOffsetsToTransaction,而不是只传 group.id 字符串。这样提交时可以基于消费组元数据校验当前成员身份,避免消费者成员已经变化时仍提交错误的消费进度。

主示例

下面给出一个完整的最小实现。它使用 Kafka 自带的 String 序列化器,关闭自动提交,并按每个 TopicPartition 记录本批次最后处理成功位置的下一位。示例依赖 kafka-clients,运行前需准备可连接的 Kafka Broker,并创建 input-topic 与 output-topic。

java
import org.apache.kafka.clients.consumer.ConsumerConfig;
import org.apache.kafka.clients.consumer.ConsumerRecord;
import org.apache.kafka.clients.consumer.ConsumerRecords;
import org.apache.kafka.clients.consumer.KafkaConsumer;
import org.apache.kafka.clients.consumer.OffsetAndMetadata;
import org.apache.kafka.clients.producer.KafkaProducer;
import org.apache.kafka.clients.producer.ProducerConfig;
import org.apache.kafka.clients.producer.ProducerRecord;
import org.apache.kafka.common.TopicPartition;

import java.time.Duration;
import java.util.HashMap;
import java.util.List;
import java.util.Map;
import java.util.Properties;

public class KafkaEosExample {
    public static void main(String[] args) {
        Properties consumerProps = new Properties();
        consumerProps.put(ConsumerConfig.BOOTSTRAP_SERVERS_CONFIG, "localhost:9092");
        consumerProps.put(ConsumerConfig.GROUP_ID_CONFIG, "eos-demo-group");
        consumerProps.put(ConsumerConfig.KEY_DESERIALIZER_CLASS_CONFIG,
                "org.apache.kafka.common.serialization.StringDeserializer");
        consumerProps.put(ConsumerConfig.VALUE_DESERIALIZER_CLASS_CONFIG,
                "org.apache.kafka.common.serialization.StringDeserializer");
        consumerProps.put(ConsumerConfig.ENABLE_AUTO_COMMIT_CONFIG, "false");

        Properties producerProps = new Properties();
        producerProps.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG, "localhost:9092");
        producerProps.put(ProducerConfig.KEY_SERIALIZER_CLASS_CONFIG,
                "org.apache.kafka.common.serialization.StringSerializer");
        producerProps.put(ProducerConfig.VALUE_SERIALIZER_CLASS_CONFIG,
                "org.apache.kafka.common.serialization.StringSerializer");
        producerProps.put(ProducerConfig.ENABLE_IDEMPOTENCE_CONFIG, "true");
        producerProps.put(ProducerConfig.TRANSACTIONAL_ID_CONFIG, "eos-demo-producer-1");

        try (KafkaConsumer<String, String> consumer = new KafkaConsumer<>(consumerProps);
             KafkaProducer<String, String> producer = new KafkaProducer<>(producerProps)) {
            consumer.subscribe(List.of("input-topic"));
            producer.initTransactions();

            ConsumerRecords<String, String> records = consumer.poll(Duration.ofSeconds(1));
            if (records.isEmpty()) {
                System.out.println("No records");
                return;
            }

            producer.beginTransaction();
            try {
                Map<TopicPartition, OffsetAndMetadata> offsets = new HashMap<>();

                for (ConsumerRecord<String, String> record : records) {
                    String output = record.value().toUpperCase();
                    producer.send(new ProducerRecord<>("output-topic", record.key(), output));

                    TopicPartition partition = new TopicPartition(record.topic(), record.partition());
                    OffsetAndMetadata current = offsets.get(partition);
                    OffsetAndMetadata next = new OffsetAndMetadata(record.offset() + 1);

                    // 同一分区只提交本批次最后处理成功位置的下一位。
                    if (current == null || next.offset() > current.offset()) {
                        offsets.put(partition, next);
                    }
                }

                producer.sendOffsetsToTransaction(offsets, consumer.groupMetadata());
                producer.commitTransaction();
                System.out.println("EOS transaction committed");
            } catch (Exception e) {
                producer.abortTransaction();
                System.out.println("EOS transaction aborted: " + e.getClass().getSimpleName());
            }
        }
    }
}

预期输出

text
EOS transaction committed

上面的示例把输出发送、offset 计算和 sendOffsetsToTransaction 放在同一事务中。若事务执行过程中进入异常分支并调用 abortTransaction,这批事务输出不会作为已提交事务数据对 read_committed 消费者可见,消费组 offset 也不会因为这次事务而提交。

实际运行时,Kafka 客户端依赖、Broker 地址和 Topic 名称需要按环境调整;示例中的 localhost:9092、input-topic、output-topic 是固定示例值,不代表你的实际部署参数。

为什么不能再手动 commit

采用这种 EOS 消费到生产模式后,不应在同一处理路径继续使用 commitSync 或 commitAsync 单独提交消费 offset。原因不是两个 API 不能同时出现,而是它们属于不同的提交边界:手动 commit 会让 offset 脱离当前生产者事务。

例如先发送输出,再单独 commitSync,应用可能在两者之间崩溃,导致输出已经存在而消费进度尚未提交;反过来先提交 offset,再发送输出,则可能出现消费进度已经前进但输出没有成功。把 offset 交给 sendOffsetsToTransaction,才能让它和当前事务中的输出共同等待最终提交结果。

验证原子结果

验证 EOS 时,不要只看业务代码没有抛异常。更有效的方式是在事务提交前制造一次失败,再分别观察目标 Topic 的可见消息和消费组 offset。

可以用下面的命令查看消费组当前 offset。运行前请将 <GROUP_ID> 和 <BOOTSTRAP> 替换为实际值。

bash
kafka-consumer-groups.sh --bootstrap-server <BOOTSTRAP> --group <GROUP_ID> --describe

预期输出

text
GROUP        TOPIC        PARTITION  CURRENT-OFFSET  LOG-END-OFFSET
<GROUP_ID>   input-topic  0          <COMMITTED>     <END>

故障演练时,如果事务在 commitTransaction 成功前被中止,目标输出不应作为已提交事务消息继续对 read_committed 消费者可见,消费组 offset 也不会因为这次未提交事务而永久前进。重新拉取同一输入后,应用仍可能再次处理这批消息,这正是事务边界与消费进度绑定后得到的结果。

真正需要牢记的是:sendOffsetsToTransaction 不是立即提交 offset 的快捷方式,而是把 offset加入当前事务;最终是否生效,仍由 commitTransaction 的结果决定。

按自己的节奏,确认真正理解。

目录与阅读设置

记录一个想法

原子提交输出与 offset

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通