消息队列 / 系统课时

自动提交与手动提交

自动提交与手动提交

提交位移决定消费者故障后从哪里恢复,也直接影响重复处理和消息丢失风险。本课比较 enable.auto.commit、commitSync() 与 commitAsync() 的行为,并给出一个“处理成功后再提交”的手动提交实现。

学习目标

  • 理解自动提交与手动提交分别在什么时机推进位移
  • 比较同步提交和异步提交在可靠性与吞吐上的取舍
  • 根据业务处理边界选择至少一次消费的提交方式

三种提交方式怎么选

enable.auto.commit=true 时,Kafka Consumer 会按 auto.commit.interval.ms 的节奏自动提交最近由 poll() 推进的 position。它不知道数据库写入、HTTP 调用或异步任务是否真正完成,因此当业务处理与 poll() 解耦时,可能出现“位移已提交,业务尚未完成”。

关闭自动提交后,可以由应用显式调用 commitSync() 或 commitAsync()。二者提交的都是“下一条要消费的 offset”,所以若最后成功处理的是 offset 42,正确提交位置应是 43。

方式 调用特征 主要优点 主要风险或代价
自动提交 enable.auto.commit=true 代码最少 提交时机不理解业务完成边界
commitSync() 阻塞等待 broker 返回 失败会直接抛出异常,状态更明确 提交期间阻塞消费线程
commitAsync() 请求发出后继续运行 减少提交对吞吐的阻塞 失败处理更复杂,失败后不应盲目重试旧位移

处理成功后再异步提交

下面示例关闭自动提交。每轮 poll() 返回的记录全部处理成功后调用 commitAsync();进程正常关闭时再执行一次 commitSync(),尽量把最后已完成的处理进度可靠地保存下来。示例依赖项目中已加入 Kafka Client。

java
import java.time.Duration;
import java.util.Properties;
import org.apache.kafka.clients.consumer.ConsumerConfig;
import org.apache.kafka.clients.consumer.ConsumerRecord;
import org.apache.kafka.clients.consumer.ConsumerRecords;
import org.apache.kafka.clients.consumer.KafkaConsumer;
import org.apache.kafka.common.errors.WakeupException;
import org.apache.kafka.common.serialization.StringDeserializer;

public class ManualCommitConsumer {
    public static void main(String[] args) {
        Properties props = new Properties();
        props.put(ConsumerConfig.BOOTSTRAP_SERVERS_CONFIG, "localhost:9092");
        props.put(ConsumerConfig.GROUP_ID_CONFIG, "order-worker");
        props.put(ConsumerConfig.KEY_DESERIALIZER_CLASS_CONFIG, StringDeserializer.class.getName());
        props.put(ConsumerConfig.VALUE_DESERIALIZER_CLASS_CONFIG, StringDeserializer.class.getName());
        props.put(ConsumerConfig.ENABLE_AUTO_COMMIT_CONFIG, "false");
        props.put(ConsumerConfig.AUTO_OFFSET_RESET_CONFIG, "earliest");

        KafkaConsumer<String, String> consumer = new KafkaConsumer<>(props);
        Runtime.getRuntime().addShutdownHook(new Thread(consumer::wakeup));

        try {
            consumer.subscribe(java.util.List.of("orders"));

            while (true) {
                ConsumerRecords<String, String> records = consumer.poll(Duration.ofSeconds(1));

                for (ConsumerRecord<String, String> record : records) {
                    // 只有业务处理成功后,本轮位移才允许进入提交阶段。
                    process(record);
                    System.out.printf("processed %s-%d@%d%n",
                            record.topic(), record.partition(), record.offset());
                }

                if (!records.isEmpty()) {
                    // 正常路径异步提交,避免每批都阻塞等待 broker。
                    consumer.commitAsync((offsets, error) -> {
                        if (error != null) {
                            System.err.println("async commit failed: " + error.getMessage());
                            return;
                        }
                        offsets.forEach((tp, offset) ->
                                System.out.printf("committed %s-%d -> %d%n",
                                        tp.topic(), tp.partition(), offset.offset()));
                    });
                }
            }
        } catch (WakeupException ignored) {
            // 仅在主动关闭路径用同步提交收口;业务异常时不越过失败记录。
            consumer.commitSync();
        } finally {
            consumer.close();
        }
    }

    private static void process(ConsumerRecord<String, String> record) {
        if (record.value() == null) {
            throw new IllegalArgumentException("order payload must not be null");
        }
    }
}

预期输出

text
processed orders-0@<ID>
committed orders-0 -> <VALUE>

<ID> 是实际消息 offset,<VALUE> 是提交的下一条消费位置;如果刚处理的是 offset 42,提交值通常为 43。异步回调出现的具体时间会受网络和 broker 响应时间影响。

提交时机决定处理语义

如果在业务处理完成之后提交,那么进程可能在“处理成功但提交前”崩溃。重启后这些记录会再次被消费,因此形成典型的至少一次语义;业务侧最好配合幂等写入或去重。

如果在业务处理完成之前就提交,进程随后崩溃时,Kafka 会认为这些记录已经消费完成,重启后不会自动回到它们,业务结果就可能丢失。自动提交在异步处理、线程池分发等场景尤其需要警惕这一点。

部分批次成功时不要提交整批

无参数 commitSync() 和 commitAsync() 会按 consumer 当前 position 提交。如果一批记录只处理了一部分,却直接提交当前 position,就可能越过尚未成功处理的记录。

需要逐条或分段确认时,应构造 Map<TopicPartition, OffsetAndMetadata>,只提交每个分区“最后成功处理 offset + 1”的位置。对大多数串行 poll → 处理整批 → 提交 场景,先用 commitSync() 建立正确性基线;确认提交阻塞确实成为瓶颈后,再切换为正常路径 commitAsync()、关闭路径 commitSync() 的组合。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

自动提交与手动提交

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通