消息队列 / 系统课时
幂等生产者
幂等生产者
生产者在网络抖动或响应丢失时会重试发送,但普通重试可能把同一条记录写入多次。本课从 Producer ID、序列号和 Broker 去重入手,配置一个可运行的幂等生产者,并明确它能解决什么、不能解决什么。
学习目标
- 解释 Producer ID、epoch 与序列号如何让 Broker 识别重试
- 正确配置
enable.idempotence及其关联参数 - 判断幂等生产者与业务幂等、Kafka 事务之间的边界
重试为什么可能产生重复
生产者发送记录后,Broker 可能已经成功追加日志,但确认响应在网络中丢失。客户端看不到确认,只能按重试策略再次发送。如果 Broker 无法识别“这只是上一次请求的重试”,第二次发送就可能再次追加,于是形成重复记录。
幂等生产者解决的正是这个窗口:允许客户端放心重试,同时让 Broker 对同一生产者会话中的重复批次只接受一次。
Broker 如何识别重复
启用幂等后,Producer 会获得 Producer ID,并携带当前 epoch。对某个目标分区发送的批次还会带递增序列号。Broker 维护该分区已接受的生产者状态,因此能区分正常的下一个批次、同序列号重试以及异常的序列跳跃。
当确认响应丢失后,客户端重发相同 Producer ID、epoch 和序列号的批次,Broker 会把它识别为已处理重试,而不是再次向日志追加。序列号按分区维护,所以不同分区各自形成独立的去重序列。

显式启用幂等
下面示例假设项目已经引入与集群兼容的 org.apache.kafka:kafka-clients,并且 idempotent-demo Topic 已存在。显式配置关键约束可以避免后续改配置时无意破坏幂等语义:acks=all、retries>0,且 max.in.flight.requests.per.connection 不大于 5。
import java.util.Properties;
import org.apache.kafka.clients.producer.KafkaProducer;
import org.apache.kafka.clients.producer.ProducerConfig;
import org.apache.kafka.clients.producer.ProducerRecord;
import org.apache.kafka.common.serialization.StringSerializer;
public class IdempotentProducerDemo {
public static void main(String[] args) throws Exception {
String bootstrapServers = args.length > 0 ? args[0] : "localhost:9092";
Properties props = new Properties();
props.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG, bootstrapServers);
props.put(ProducerConfig.KEY_SERIALIZER_CLASS_CONFIG, StringSerializer.class.getName());
props.put(ProducerConfig.VALUE_SERIALIZER_CLASS_CONFIG, StringSerializer.class.getName());
// 明确开启幂等,并保留与幂等要求兼容的确认、重试和并发请求配置。
props.put(ProducerConfig.ENABLE_IDEMPOTENCE_CONFIG, "true");
props.put(ProducerConfig.ACKS_CONFIG, "all");
props.put(ProducerConfig.RETRIES_CONFIG, Integer.toString(Integer.MAX_VALUE));
props.put(ProducerConfig.MAX_IN_FLIGHT_REQUESTS_PER_CONNECTION, "5");
try (KafkaProducer<String, String> producer = new KafkaProducer<>(props)) {
// get() 等待 Broker 确认,便于示例在退出前确定两次发送都完成。
producer.send(new ProducerRecord<>("idempotent-demo", "order-1001", "created")).get();
producer.send(new ProducerRecord<>("idempotent-demo", "order-1001", "paid")).get();
System.out.println("发送完成:2 条记录均已确认");
}
}
}预期输出:
发送完成:2 条记录均已确认若把 enable.idempotence=true 与不兼容的确认、重试或并发请求配置组合,Producer 会在配置校验阶段失败,而不是悄悄提供错误的幂等保证。
作用范围与边界
幂等生产者去除的是 Kafka 客户端重试造成的重复写入。如果业务代码主动调用两次 send() 发送同一个订单事件,这仍然是两个独立发送,Broker 不会根据业务键自动判断它们“内容相同”。
不设置 transactional.id 时,新建 Producer 会进入新的生产者会话,不能依赖前一个实例的状态做跨会话业务去重。对于多分区或多 Topic 的一组记录,幂等只能保证各分区上的单次写入不因重试而重复,不能保证整组记录要么全部可见、要么全部不可见;这种原子性需要 Kafka 事务。
因此,幂等生产者适合把“安全重试”作为默认可靠性基础;业务唯一性仍应由业务键、状态存储或去重表承担,而跨分区原子写入则交给事务机制。