消息队列 / 系统课时

幂等能解决哪些问题

幂等能解决哪些问题

这篇用“能解决什么”和“解决不了什么”划清 Producer 幂等的边界。你会看到它最擅长处理发送重试造成的 Broker 重复写入,但无法自动覆盖跨 Producer 会话、跨系统处理链和业务层重复事件。

学习目标

  • 能判断一类重复是否属于幂等 Producer 的覆盖范围。
  • 理解跨会话、跨系统与消费处理链为什么需要额外机制。
  • 能根据重复来源选择 Kafka 幂等、业务去重或事务方案。

先判断重复从哪里来

Producer 幂等的覆盖范围可以压缩成一个判断:同一 Producer 会话中、同一分区、同一发送序列的重试重复。例如请求已经写入 Broker,但 Producer 没收到确认,随后按照原记录重试,这正是幂等机制设计来处理的场景。

真正排障时,不要只看到“重复消息”就关闭重试。先确认重复是由发送重试、应用重新提交、消费者重复处理,还是跨系统投递造成的。不同来源需要的控制点完全不同。

重复来源 Producer 幂等 还需要什么
同一 Producer 实例发送重试 可以覆盖核心重复写入 正确的重试与确认配置
Producer 重启后重新发送同一业务事件 不能仅靠旧序列号去重 业务事件 ID、去重或事务方案
Kafka 消费者重复处理 不解决 消费端幂等或提交与处理策略
Kafka 到数据库的写入链重复执行 不解决端到端一致性 数据库唯一约束、事务或可靠 Outbox 等方案
两个服务各自发送同一业务事件 不解决业务语义重复 统一事件 ID 与业务去重规则

一个最小重试场景

下面的配置只验证 Producer 幂等能力本身。send 返回未来结果,真正的异常会在等待结果时暴露,因此示例使用 get() 作为最小验证手段。

java
import org.apache.kafka.clients.producer.KafkaProducer;
import org.apache.kafka.clients.producer.ProducerConfig;
import org.apache.kafka.clients.producer.ProducerRecord;

import java.util.Properties;

public class ProducerRetryBoundaryDemo {
    public static void main(String[] args) throws Exception {
        Properties props = new Properties();
        props.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG, "localhost:<PORT>");
        props.put(ProducerConfig.KEY_SERIALIZER_CLASS_CONFIG,
                "org.apache.kafka.common.serialization.StringSerializer");
        props.put(ProducerConfig.VALUE_SERIALIZER_CLASS_CONFIG,
                "org.apache.kafka.common.serialization.StringSerializer");

        // 幂等只负责识别可归属于同一 Producer 会话的重复发送。
        props.put(ProducerConfig.ENABLE_IDEMPOTENCE_CONFIG, "true");
        props.put(ProducerConfig.ACKS_CONFIG, "all");
        props.put(ProducerConfig.RETRIES_CONFIG, Integer.MAX_VALUE);

        try (KafkaProducer<String, String> producer = new KafkaProducer<>(props)) {
            var future = producer.send(
                    new ProducerRecord<>("demo-events", "event-1001", "paid"));

            var metadata = future.get();
            System.out.printf("sent event=%s partition=%d offset=%d%n",
                    "event-1001", metadata.partition(), metadata.offset());
        }
    }
}

预期输出

text
sent event=event-1001 partition=<ID> offset=<ID>

这里的验证只能说明这次发送在幂等模式下成功完成,不能据此证明“整个业务链路绝不重复”。要证明业务级唯一性,还必须检查消费、数据库写入或下游接口的处理策略。

跨会话为什么会失效

幂等 Producer 的去重身份依赖 Producer ID 和发送序列。应用重启、重新创建 Producer 后,新的实例不会简单继承旧实例的发送序列;因此,把“同一个订单事件”重新发送一次,与“旧 Producer 对同一请求重试”是两种不同问题。

例如应用先创建订单,再因为进程异常重启,启动后的代码重新根据订单状态发送 order-paid。这次发送即使业务内容完全相同,也可能来自新的 Producer 身份。Kafka 幂等机制无法知道它与上一次业务事件在业务语义上是同一件事。

跨系统为什么需要额外约束

当链路变成“Kafka → 消费者 → 数据库”时,Producer 已经把重复控制完成,但消费者写数据库仍可能因为超时、重启或提交时机产生重复执行。此时应该把业务唯一键放在真正需要唯一性的地方,例如让数据库对事件 ID 建立唯一约束,再配合消费端事务处理。

同样地,“Kafka → HTTP 下游”也不是 Producer 幂等可以自动解决的。HTTP 请求可能成功而响应丢失,消费者再次调用下游时,Kafka 不知道两个 HTTP 请求是否代表同一业务操作。这里通常需要下游接口支持幂等键,或者由调用方维护请求去重状态。

选择控制点

看到“重复”时,可以按重复发生的边界做选择:Producer 重试优先使用 Kafka 幂等;业务请求重复增加业务事件 ID 与唯一约束;消费处理重复治理消费者提交与业务事务;跨系统调用重复让下游支持幂等键或采用可协调的事务方案。

最重要的认识是:Producer 幂等降低的是消息写入层的重复风险,不是把整个分布式系统自动变成“只执行一次”。只有把重复来源、唯一身份和最终落点都定义清楚,才能得到真正可验证的业务语义。

按自己的节奏,确认真正理解。

目录与阅读设置

记录一个想法

幂等能解决哪些问题

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通