消息队列 / 系统课时

幂等生产者

幂等生产者

生产者在网络抖动或响应丢失时会重试发送,但普通重试可能把同一条记录写入多次。本课从 Producer ID、序列号和 Broker 去重入手,配置一个可运行的幂等生产者,并明确它能解决什么、不能解决什么。

学习目标

  • 解释 Producer ID、epoch 与序列号如何让 Broker 识别重试
  • 正确配置 enable.idempotence 及其关联参数
  • 判断幂等生产者与业务幂等、Kafka 事务之间的边界

重试为什么可能产生重复

生产者发送记录后,Broker 可能已经成功追加日志,但确认响应在网络中丢失。客户端看不到确认,只能按重试策略再次发送。如果 Broker 无法识别“这只是上一次请求的重试”,第二次发送就可能再次追加,于是形成重复记录。

幂等生产者解决的正是这个窗口:允许客户端放心重试,同时让 Broker 对同一生产者会话中的重复批次只接受一次。

Broker 如何识别重复

启用幂等后,Producer 会获得 Producer ID,并携带当前 epoch。对某个目标分区发送的批次还会带递增序列号。Broker 维护该分区已接受的生产者状态,因此能区分正常的下一个批次、同序列号重试以及异常的序列跳跃。

当确认响应丢失后,客户端重发相同 Producer ID、epoch 和序列号的批次,Broker 会把它识别为已处理重试,而不是再次向日志追加。序列号按分区维护,所以不同分区各自形成独立的去重序列。

幂等生产者依靠 Producer ID、epoch 与分区序列号识别重试

显式启用幂等

下面示例假设项目已经引入与集群兼容的 org.apache.kafka:kafka-clients,并且 idempotent-demo Topic 已存在。显式配置关键约束可以避免后续改配置时无意破坏幂等语义:acks=all、retries>0,且 max.in.flight.requests.per.connection 不大于 5。

java
import java.util.Properties;
import org.apache.kafka.clients.producer.KafkaProducer;
import org.apache.kafka.clients.producer.ProducerConfig;
import org.apache.kafka.clients.producer.ProducerRecord;
import org.apache.kafka.common.serialization.StringSerializer;

public class IdempotentProducerDemo {
    public static void main(String[] args) throws Exception {
        String bootstrapServers = args.length > 0 ? args[0] : "localhost:9092";
        Properties props = new Properties();
        props.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG, bootstrapServers);
        props.put(ProducerConfig.KEY_SERIALIZER_CLASS_CONFIG, StringSerializer.class.getName());
        props.put(ProducerConfig.VALUE_SERIALIZER_CLASS_CONFIG, StringSerializer.class.getName());
        // 明确开启幂等,并保留与幂等要求兼容的确认、重试和并发请求配置。
        props.put(ProducerConfig.ENABLE_IDEMPOTENCE_CONFIG, "true");
        props.put(ProducerConfig.ACKS_CONFIG, "all");
        props.put(ProducerConfig.RETRIES_CONFIG, Integer.toString(Integer.MAX_VALUE));
        props.put(ProducerConfig.MAX_IN_FLIGHT_REQUESTS_PER_CONNECTION, "5");
        try (KafkaProducer<String, String> producer = new KafkaProducer<>(props)) {
            // get() 等待 Broker 确认,便于示例在退出前确定两次发送都完成。
            producer.send(new ProducerRecord<>("idempotent-demo", "order-1001", "created")).get();
            producer.send(new ProducerRecord<>("idempotent-demo", "order-1001", "paid")).get();
            System.out.println("发送完成:2 条记录均已确认");
        }
    }
}

预期输出:

text
发送完成:2 条记录均已确认

若把 enable.idempotence=true 与不兼容的确认、重试或并发请求配置组合,Producer 会在配置校验阶段失败,而不是悄悄提供错误的幂等保证。

作用范围与边界

幂等生产者去除的是 Kafka 客户端重试造成的重复写入。如果业务代码主动调用两次 send() 发送同一个订单事件,这仍然是两个独立发送,Broker 不会根据业务键自动判断它们“内容相同”。

不设置 transactional.id 时,新建 Producer 会进入新的生产者会话,不能依赖前一个实例的状态做跨会话业务去重。对于多分区或多 Topic 的一组记录,幂等只能保证各分区上的单次写入不因重试而重复,不能保证整组记录要么全部可见、要么全部不可见;这种原子性需要 Kafka 事务。

因此,幂等生产者适合把“安全重试”作为默认可靠性基础;业务唯一性仍应由业务键、状态存储或去重表承担,而跨分区原子写入则交给事务机制。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

幂等生产者

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通