消息队列 / 系统课时

理解 Producer 重试与重复写入

理解 Producer 重试与重复写入

这一课解决一个常见但容易误判的问题:Producer 已经把消息发给 Kafka,却因为响应丢失而再次发送。最终你会看到,重试解决的是发送失败问题,却不天然解决重复写入问题。

学习目标

  • 能解释响应丢失时为什么同一业务消息可能被写入两次
  • 能区分“消息发送了一次”和“Broker 日志最终出现几份”
  • 能识别普通 Producer 在重试场景下的语义缺口

重试为什么会制造重复消息

Producer 发送消息后,需要等待 Broker 的响应确认。真正麻烦的不是“Broker 一定没收到”,而是“Producer 无法确定 Broker 是否已经收到”。例如请求已经成功写入 Leader,但响应在网络中丢失,Producer 只能把这次发送视为失败并再次提交。

这会形成典型的“未知结果”场景:第一次请求可能已经成功,第二次请求又被正常处理。对于没有启用幂等能力的 Producer,Broker 没有足够的信息判断这两次请求其实来自同一次发送意图,因此可能把两个记录都写入日志。

Producer 重试导致重复写入的时序关系

一次发送为什么不等于一次写入

可以把一次发送拆成三个不同问题:Producer 有没有发出请求、Broker 有没有接受请求、Producer 有没有收到成功响应。只有把这三个状态分开,才能理解重复消息的来源。

状态 可能结果
请求未到 Broker 可以安全重试
请求已到且写入,但响应丢失 重试可能产生重复
Broker 明确拒绝请求 根据错误类型决定是否重试

因此,“打开 retries”并不能自动得到 Exactly-Once。它首先是可靠传输机制:面对部分可恢复的网络或 Broker 故障,让客户端再次发送记录;在没有额外幂等机制时,这种再次发送本身就可能改变最终日志内容。

用一个生产者配置片段观察语义

下面只保留普通 Producer 的关键配置。它是配置片段示例,依赖已有 Kafka Producer 客户端和可访问的 Broker;重点是观察 retries 与 enable.idempotence 的关系。

properties
bootstrap.servers=<HOST>:<PORT>
acks=all
retries=5
enable.idempotence=false

这里明确允许重试,却关闭了幂等性。发生“首次请求已写入、确认响应丢失”时,同一条记录可能再次进入 Broker。acks=all能够增强持久性确认,但它本身并不让重复请求自动合并;可靠性与去重是两个不同维度。

线上排查时先找什么

看到“业务消息重复”时,不要直接认定是消费者重复消费。先确认重复记录是否真的存在于 Kafka 日志中,再检查 Producer 是否发生重试,以及异常是否属于响应未知的网络路径。

一个实用判断顺序是:Producer 日志与重试次数 → Broker 端记录是否重复 → Consumer 是否重复提交或重新消费。如果 Kafka 日志本身已经存在两条业务等价消息,那么仅修改消费者提交策略无法消除源头问题。

还要注意,业务上的“相同消息”通常依据业务键判断,例如订单号,而 Kafka 自身首先处理的是具体 Record。没有幂等机制时,Kafka 并不知道两条携带相同订单号的 Record 是否代表同一次业务操作。

记住这个边界

Producer 重试解决的是“失败后再试一次”,而幂等生产解决的是“再试也不要在日志中产生重复副本”。二者经常一起出现,但并不是同一个语义层次。

按自己的节奏,确认真正理解。

目录与阅读设置

记录一个想法

理解 Producer 重试与重复写入

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通