消息队列 / 系统课时
幂等能解决哪些问题
幂等能解决哪些问题
这篇用“能解决什么”和“解决不了什么”划清 Producer 幂等的边界。你会看到它最擅长处理发送重试造成的 Broker 重复写入,但无法自动覆盖跨 Producer 会话、跨系统处理链和业务层重复事件。
学习目标
- 能判断一类重复是否属于幂等 Producer 的覆盖范围。
- 理解跨会话、跨系统与消费处理链为什么需要额外机制。
- 能根据重复来源选择 Kafka 幂等、业务去重或事务方案。
先判断重复从哪里来
Producer 幂等的覆盖范围可以压缩成一个判断:同一 Producer 会话中、同一分区、同一发送序列的重试重复。例如请求已经写入 Broker,但 Producer 没收到确认,随后按照原记录重试,这正是幂等机制设计来处理的场景。
真正排障时,不要只看到“重复消息”就关闭重试。先确认重复是由发送重试、应用重新提交、消费者重复处理,还是跨系统投递造成的。不同来源需要的控制点完全不同。
| 重复来源 | Producer 幂等 | 还需要什么 |
|---|---|---|
| 同一 Producer 实例发送重试 | 可以覆盖核心重复写入 | 正确的重试与确认配置 |
| Producer 重启后重新发送同一业务事件 | 不能仅靠旧序列号去重 | 业务事件 ID、去重或事务方案 |
| Kafka 消费者重复处理 | 不解决 | 消费端幂等或提交与处理策略 |
| Kafka 到数据库的写入链重复执行 | 不解决端到端一致性 | 数据库唯一约束、事务或可靠 Outbox 等方案 |
| 两个服务各自发送同一业务事件 | 不解决业务语义重复 | 统一事件 ID 与业务去重规则 |
一个最小重试场景
下面的配置只验证 Producer 幂等能力本身。send 返回未来结果,真正的异常会在等待结果时暴露,因此示例使用 get() 作为最小验证手段。
import org.apache.kafka.clients.producer.KafkaProducer;
import org.apache.kafka.clients.producer.ProducerConfig;
import org.apache.kafka.clients.producer.ProducerRecord;
import java.util.Properties;
public class ProducerRetryBoundaryDemo {
public static void main(String[] args) throws Exception {
Properties props = new Properties();
props.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG, "localhost:<PORT>");
props.put(ProducerConfig.KEY_SERIALIZER_CLASS_CONFIG,
"org.apache.kafka.common.serialization.StringSerializer");
props.put(ProducerConfig.VALUE_SERIALIZER_CLASS_CONFIG,
"org.apache.kafka.common.serialization.StringSerializer");
// 幂等只负责识别可归属于同一 Producer 会话的重复发送。
props.put(ProducerConfig.ENABLE_IDEMPOTENCE_CONFIG, "true");
props.put(ProducerConfig.ACKS_CONFIG, "all");
props.put(ProducerConfig.RETRIES_CONFIG, Integer.MAX_VALUE);
try (KafkaProducer<String, String> producer = new KafkaProducer<>(props)) {
var future = producer.send(
new ProducerRecord<>("demo-events", "event-1001", "paid"));
var metadata = future.get();
System.out.printf("sent event=%s partition=%d offset=%d%n",
"event-1001", metadata.partition(), metadata.offset());
}
}
}预期输出
sent event=event-1001 partition=<ID> offset=<ID>这里的验证只能说明这次发送在幂等模式下成功完成,不能据此证明“整个业务链路绝不重复”。要证明业务级唯一性,还必须检查消费、数据库写入或下游接口的处理策略。
跨会话为什么会失效
幂等 Producer 的去重身份依赖 Producer ID 和发送序列。应用重启、重新创建 Producer 后,新的实例不会简单继承旧实例的发送序列;因此,把“同一个订单事件”重新发送一次,与“旧 Producer 对同一请求重试”是两种不同问题。
例如应用先创建订单,再因为进程异常重启,启动后的代码重新根据订单状态发送 order-paid。这次发送即使业务内容完全相同,也可能来自新的 Producer 身份。Kafka 幂等机制无法知道它与上一次业务事件在业务语义上是同一件事。
跨系统为什么需要额外约束
当链路变成“Kafka → 消费者 → 数据库”时,Producer 已经把重复控制完成,但消费者写数据库仍可能因为超时、重启或提交时机产生重复执行。此时应该把业务唯一键放在真正需要唯一性的地方,例如让数据库对事件 ID 建立唯一约束,再配合消费端事务处理。
同样地,“Kafka → HTTP 下游”也不是 Producer 幂等可以自动解决的。HTTP 请求可能成功而响应丢失,消费者再次调用下游时,Kafka 不知道两个 HTTP 请求是否代表同一业务操作。这里通常需要下游接口支持幂等键,或者由调用方维护请求去重状态。
选择控制点
看到“重复”时,可以按重复发生的边界做选择:Producer 重试优先使用 Kafka 幂等;业务请求重复增加业务事件 ID 与唯一约束;消费处理重复治理消费者提交与业务事务;跨系统调用重复让下游支持幂等键或采用可协调的事务方案。
最重要的认识是:Producer 幂等降低的是消息写入层的重复风险,不是把整个分布式系统自动变成“只执行一次”。只有把重复来源、唯一身份和最终落点都定义清楚,才能得到真正可验证的业务语义。