消息队列 / 系统课时

验证幂等与重复抑制

验证幂等与重复抑制

本课用两个彼此独立的实验验证幂等 Producer 的边界:先通过 Toxiproxy 在 Broker 响应方向制造受控超时,让 Producer 面对“可能已写入但响应未到达”的重试窗口;再用应用主动重复 send 做对照。核心结论是:幂等抑制的是同一 Producer 会话中同一序列的重复生产请求,不按 Key/Value 为业务做全局去重。

学习目标

  • 区分 Producer 自动重试与应用主动重发
  • 用受控网络故障制造并验证幂等 Producer 的重试场景
  • 根据应用 send 次数、底层重试与最终 Offset 判断重复发生在哪一层

先明确两个实验边界

验证时不要只看程序是否抛异常,而要同时比较应用逻辑发送次数、最终 Kafka 记录数和 Offset。自动重试实验中,应用代码只调用一次 send,由代理在服务端到客户端方向丢弃响应并延迟关闭连接;对照实验则明确调用两次独立的 send。

幂等 Producer 不会扫描 Topic 中已有记录,再根据 Key/Value 判断“这是不是同一条业务消息”。应用主动创建第二个 ProducerRecord 并再次调用 send,对 Kafka 而言是新的生产操作,因此不会因为两条记录内容相同就被 Producer 自动合并。

用受控网络故障验证 Producer 自动重试

Toxiproxy 可以分别作用于客户端到服务端的 upstream 流和服务端到客户端的 downstream 流;本实验只干扰 downstream,让 Produce 请求仍能到达 Broker,但响应在客户端侧不可见。这样更接近“Broker 已经处理,客户端没有及时收到成功确认”的场景。Toxiproxy 仅用于本地或专用测试环境。:contentReference[oaicite:0]{index=0}

先创建一个代理,并在 downstream 方向加入 timeout toxic。timeout 会停止数据继续通过,并在设定时间后关闭连接;这里用 1500 毫秒,配合 Producer 的 1000 毫秒 request.timeout.ms,制造客户端先超时、代理随后关闭连接的窗口。:contentReference[oaicite:1]{index=1}

bash
# Toxiproxy Server 与 Kafka Broker 都已启动;<HOST>:<PORT> 是 Broker 地址。
toxiproxy-cli create kafka-broker -l 0.0.0.0:<PROXY_PORT> -u <HOST>:<PORT>
toxiproxy-cli toxic add -t timeout -n response-cutoff -a timeout=1500 -d kafka-broker
toxiproxy-cli inspect kafka-broker

预期结果

text
Created proxy kafka-broker
Added downstream timeout toxic 'response-cutoff' on proxy 'kafka-broker'
Downstream toxics:
response-cutoff: type=timeout stream=downstream toxicity=1.00 attributes=[ timeout=1500 ]

下面的 Producer 只调用一次 send。Producer 的 request.timeout.ms 控制单次请求等待响应的时间,超过后可以重发请求;delivery.timeout.ms 则限制一次记录从 send() 返回到最终成功或失败的总时长,因此这里必须给重试留下足够窗口。:contentReference[oaicite:2]{index=2}

java
import org.apache.kafka.clients.producer.KafkaProducer;
import org.apache.kafka.clients.producer.ProducerConfig;
import org.apache.kafka.clients.producer.ProducerRecord;
import org.apache.kafka.clients.producer.RecordMetadata;
import org.apache.kafka.common.serialization.StringSerializer;

import java.util.Properties;

public class IdempotenceRetryCheck {
    public static void main(String[] args) throws Exception {
        Properties props = new Properties();
        props.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG, "<HOST>:<PROXY_PORT>");
        props.put(ProducerConfig.KEY_SERIALIZER_CLASS_CONFIG, StringSerializer.class.getName());
        props.put(ProducerConfig.VALUE_SERIALIZER_CLASS_CONFIG, StringSerializer.class.getName());
        props.put(ProducerConfig.ENABLE_IDEMPOTENCE_CONFIG, "true");
        props.put(ProducerConfig.ACKS_CONFIG, "all");
        props.put(ProducerConfig.RETRIES_CONFIG, "10");
        props.put(ProducerConfig.REQUEST_TIMEOUT_MS_CONFIG, "1000");
        props.put(ProducerConfig.DELIVERY_TIMEOUT_MS_CONFIG, "15000");

        try (KafkaProducer<String, String> producer = new KafkaProducer<>(props)) {
            ProducerRecord<String, String> record =
                    new ProducerRecord<>("idempotence-check", "order-<ID>", "created");

            // 应用只发起一次逻辑发送;后续重试由 Producer 内部完成。
            RecordMetadata result = producer.send(record).get();
            System.out.printf("send succeeded partition=%d offset=%d%n",
                    result.partition(), result.offset());
        }
    }
}

预期结果

text
send succeeded partition=<PARTITION> offset=<OFFSET>

在故障窗口成立且最终重试成功时,应用层仍只有一次 send 调用,但 Producer 日志中可能出现同一记录的多次请求尝试;最终 Topic 中对应业务记录应只有一条。若重试窗口持续超过 delivery.timeout.ms,send().get() 也可能失败,此时不能根据客户端失败直接判断 Broker 没有写入,因为超时只说明客户端未及时得到成功确认。:contentReference[oaicite:3]{index=3}

验证完成后移除 downstream 故障,避免影响后续实验。

bash
toxiproxy-cli toxic remove -n response-cutoff kafka-broker

预期结果

text
Removed toxic 'response-cutoff' on proxy 'kafka-broker'

用应用主动重发做对照

对照实验不再注入网络故障,而是让同一个 Producer 实例连续创建两条独立的 ProducerRecord 并调用两次 send。即使开启幂等,这两次调用仍是两个独立的逻辑生产操作,因此预期产生两条记录。

java
import org.apache.kafka.clients.producer.KafkaProducer;
import org.apache.kafka.clients.producer.ProducerConfig;
import org.apache.kafka.clients.producer.ProducerRecord;
import org.apache.kafka.clients.producer.RecordMetadata;
import org.apache.kafka.common.serialization.StringSerializer;

import java.util.Properties;

public class ApplicationResendCheck {
    public static void main(String[] args) throws Exception {
        Properties props = new Properties();
        props.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG, "<HOST>:<PORT>");
        props.put(ProducerConfig.KEY_SERIALIZER_CLASS_CONFIG, StringSerializer.class.getName());
        props.put(ProducerConfig.VALUE_SERIALIZER_CLASS_CONFIG, StringSerializer.class.getName());
        props.put(ProducerConfig.ENABLE_IDEMPOTENCE_CONFIG, "true");
        props.put(ProducerConfig.ACKS_CONFIG, "all");

        try (KafkaProducer<String, String> producer = new KafkaProducer<>(props)) {
            RecordMetadata first = producer.send(
                    new ProducerRecord<>("idempotence-check", "order-<ID>", "created")).get();
            RecordMetadata second = producer.send(
                    new ProducerRecord<>("idempotence-check", "order-<ID>", "created")).get();

            System.out.printf("first offset=%d%n", first.offset());
            System.out.printf("second offset=%d%n", second.offset());
        }
    }
}

预期结果

text
first offset=<OFFSET_1>
second offset=<OFFSET_2>

通常 <OFFSET_2> 会比 <OFFSET_1> 大 1,说明两次 send 都形成了独立记录;实际 Offset 取决于 Topic 当时的末尾位置。

用 Topic 结果区分两类重复

最后读取测试 Topic,并结合应用日志判断重复来源。重点是同时确认“应用调用一次还是两次 send”以及“最终对应记录是一条还是两条”,不能只比较 Key/Value 文本。

bash
kafka-console-consumer.sh --bootstrap-server <HOST>:<PORT> --topic idempotence-check --from-beginning --timeout-ms 10000

预期结果

text
order-<ID>    created

只执行自动重试实验且窗口成功时,最终应只有一条对应记录;再执行主动重发实验后,会多出第二条相同 Key/Value 的记录。可以用下面的判据定位重复来源。

场景 应用逻辑 send Producer 底层请求尝试 最终对应记录
正常发送 1 1 1
自动重试且幂等 1 可能大于 1 1
应用主动再次 send 2 至少 2 次逻辑发送 2

还要注意超时语义:客户端超时并不等价于 Broker 未写入。若业务代码把这种不确定结果直接当成失败,再创建一条新记录主动重发,就可能把一次业务请求变成两次独立生产操作。:contentReference[oaicite:4]{index=4}

因此,验证幂等最关键的是把两类行为分开制造:自动重试场景中应用只调用一次 send,让 downstream 故障制造响应不可见窗口,并观察最终是否仍只有一条记录;主动重发场景则明确执行两次独立 send,预期得到两条记录。这样才能验证幂等解决的是 Producer 协议层的重复请求,而不是业务层的全局去重。

按自己的节奏,确认真正理解。

目录与阅读设置

记录一个想法

验证幂等与重复抑制

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通