消息队列 / 系统课时
自动提交与手动提交
自动提交与手动提交
提交位移决定消费者故障后从哪里恢复,也直接影响重复处理和消息丢失风险。本课比较 enable.auto.commit、commitSync() 与 commitAsync() 的行为,并给出一个“处理成功后再提交”的手动提交实现。
学习目标
- 理解自动提交与手动提交分别在什么时机推进位移
- 比较同步提交和异步提交在可靠性与吞吐上的取舍
- 根据业务处理边界选择至少一次消费的提交方式
三种提交方式怎么选
enable.auto.commit=true 时,Kafka Consumer 会按 auto.commit.interval.ms 的节奏自动提交最近由 poll() 推进的 position。它不知道数据库写入、HTTP 调用或异步任务是否真正完成,因此当业务处理与 poll() 解耦时,可能出现“位移已提交,业务尚未完成”。
关闭自动提交后,可以由应用显式调用 commitSync() 或 commitAsync()。二者提交的都是“下一条要消费的 offset”,所以若最后成功处理的是 offset 42,正确提交位置应是 43。
| 方式 | 调用特征 | 主要优点 | 主要风险或代价 |
|---|---|---|---|
| 自动提交 | enable.auto.commit=true |
代码最少 | 提交时机不理解业务完成边界 |
commitSync() |
阻塞等待 broker 返回 | 失败会直接抛出异常,状态更明确 | 提交期间阻塞消费线程 |
commitAsync() |
请求发出后继续运行 | 减少提交对吞吐的阻塞 | 失败处理更复杂,失败后不应盲目重试旧位移 |
处理成功后再异步提交
下面示例关闭自动提交。每轮 poll() 返回的记录全部处理成功后调用 commitAsync();进程正常关闭时再执行一次 commitSync(),尽量把最后已完成的处理进度可靠地保存下来。示例依赖项目中已加入 Kafka Client。
import java.time.Duration;
import java.util.Properties;
import org.apache.kafka.clients.consumer.ConsumerConfig;
import org.apache.kafka.clients.consumer.ConsumerRecord;
import org.apache.kafka.clients.consumer.ConsumerRecords;
import org.apache.kafka.clients.consumer.KafkaConsumer;
import org.apache.kafka.common.errors.WakeupException;
import org.apache.kafka.common.serialization.StringDeserializer;
public class ManualCommitConsumer {
public static void main(String[] args) {
Properties props = new Properties();
props.put(ConsumerConfig.BOOTSTRAP_SERVERS_CONFIG, "localhost:9092");
props.put(ConsumerConfig.GROUP_ID_CONFIG, "order-worker");
props.put(ConsumerConfig.KEY_DESERIALIZER_CLASS_CONFIG, StringDeserializer.class.getName());
props.put(ConsumerConfig.VALUE_DESERIALIZER_CLASS_CONFIG, StringDeserializer.class.getName());
props.put(ConsumerConfig.ENABLE_AUTO_COMMIT_CONFIG, "false");
props.put(ConsumerConfig.AUTO_OFFSET_RESET_CONFIG, "earliest");
KafkaConsumer<String, String> consumer = new KafkaConsumer<>(props);
Runtime.getRuntime().addShutdownHook(new Thread(consumer::wakeup));
try {
consumer.subscribe(java.util.List.of("orders"));
while (true) {
ConsumerRecords<String, String> records = consumer.poll(Duration.ofSeconds(1));
for (ConsumerRecord<String, String> record : records) {
// 只有业务处理成功后,本轮位移才允许进入提交阶段。
process(record);
System.out.printf("processed %s-%d@%d%n",
record.topic(), record.partition(), record.offset());
}
if (!records.isEmpty()) {
// 正常路径异步提交,避免每批都阻塞等待 broker。
consumer.commitAsync((offsets, error) -> {
if (error != null) {
System.err.println("async commit failed: " + error.getMessage());
return;
}
offsets.forEach((tp, offset) ->
System.out.printf("committed %s-%d -> %d%n",
tp.topic(), tp.partition(), offset.offset()));
});
}
}
} catch (WakeupException ignored) {
// 仅在主动关闭路径用同步提交收口;业务异常时不越过失败记录。
consumer.commitSync();
} finally {
consumer.close();
}
}
private static void process(ConsumerRecord<String, String> record) {
if (record.value() == null) {
throw new IllegalArgumentException("order payload must not be null");
}
}
}预期输出
processed orders-0@<ID>
committed orders-0 -> <VALUE><ID> 是实际消息 offset,<VALUE> 是提交的下一条消费位置;如果刚处理的是 offset 42,提交值通常为 43。异步回调出现的具体时间会受网络和 broker 响应时间影响。
提交时机决定处理语义
如果在业务处理完成之后提交,那么进程可能在“处理成功但提交前”崩溃。重启后这些记录会再次被消费,因此形成典型的至少一次语义;业务侧最好配合幂等写入或去重。
如果在业务处理完成之前就提交,进程随后崩溃时,Kafka 会认为这些记录已经消费完成,重启后不会自动回到它们,业务结果就可能丢失。自动提交在异步处理、线程池分发等场景尤其需要警惕这一点。
部分批次成功时不要提交整批
无参数 commitSync() 和 commitAsync() 会按 consumer 当前 position 提交。如果一批记录只处理了一部分,却直接提交当前 position,就可能越过尚未成功处理的记录。
需要逐条或分段确认时,应构造 Map<TopicPartition, OffsetAndMetadata>,只提交每个分区“最后成功处理 offset + 1”的位置。对大多数串行 poll → 处理整批 → 提交 场景,先用 commitSync() 建立正确性基线;确认提交阻塞确实成为瓶颈后,再切换为正常路径 commitAsync()、关闭路径 commitSync() 的组合。