消息队列 / 技术文章
Kafka 消息重复发送怎么排查
线上出现同一订单事件被处理两次,不能直接把责任归到 Kafka。真正需要回答的是:重复发生在 Producer、Broker,还是 Consumer 处理链路,以及两次处理是否对应同一个 Kafka record。本文面向处理 Kafka 重复消息、订单事件异常与消息可靠性事故的后端工程师和 SRE,通过偏移量、Producer 日志、Consumer 日志、消费提交和业务事件 ID 建立排查路径,最终定位重复来源并选择配置、消费语义或业务幂等层面的修复方式。
先判断“重复”到底是什么
先不要根据业务日志中的“同一个订单号出现两次”就判断 Kafka 发送了两条消息。至少要区分四种情况:
| 现象 | 常见真实原因 | 首要证据 |
|---|---|---|
| Topic 中存在两个相同业务事件 | Producer 重试、应用主动重复发送、幂等生产者未生效等 | 两条 record 的 offset、partition、Producer 日志 |
| Topic 中只有一条,但业务执行两次 | Consumer 处理后未成功提交 offset,随后重新拉取 | Consumer 日志、提交 offset、重启时间 |
| 不同 partition 都出现相同业务事件 | Producer 在不同发送路径重复构造消息,或业务层重复投递 | key、partition、业务事件 ID |
| 只有下游系统出现重复 | Consumer 自身重试、数据库提交后再次投递、外部调用重试 | Consumer 处理日志与下游请求日志 |
排查时优先记录一组可关联字段:topic、partition、offset、业务事件 ID、订单 ID、Producer 日志时间、Consumer 日志时间,以及 Consumer Group 的提交 offset。只有把这些字段串起来,才能判断是“同一条 Kafka record 被处理两次”,还是“Kafka 中本来就有两条 record”。
第一步:确认 Topic 里究竟有几条消息
首先固定一个重复事件,查它对应的 partition 和 offset。Kafka record 的 offset 在单个 partition 内唯一,因此如果业务日志两次处理对应的是同一个 partition + offset,问题重点应转向 Consumer 重投,而不是继续寻找 Producer 重复发送。
可以先查看指定 Consumer Group 当前消费位置:
kafka-consumer-groups.sh \
--bootstrap-server <BROKER> \
--group <GROUP_ID> \
--describe预期结果:
TOPIC PARTITION CURRENT-OFFSET LOG-END-OFFSET LAG
orders 3 12842 12842 0随后用能够输出 partition、offset 和 headers 的消费者工具抽取小范围记录,围绕业务事件 ID 比对。重点不是“消息内容是否相同”,而是比较它们是否是不同 offset 的两条 Kafka record。若相同事件 ID 对应 partition=3, offset=12841 和 partition=3, offset=12842,说明 Topic 中确实存在两条 record;若两次业务处理都指向 partition=3, offset=12841,则更像是消费端重复处理。
第二步:排查 Producer 是否因为重试产生重复
Producer 日志要重点查四个时间点:首次发送开始、Broker 响应、超时或异常、应用决定是否再次发送。最容易混淆的是“客户端没有收到成功响应”和“Broker 没有写入成功”不是一回事。网络超时可能发生在 Broker 已经成功追加 record 之后,此时应用如果再次发送,就可能形成重复发送。
如果 Producer 开启幂等能力,Kafka 会利用 Producer ID 和序列号检测同一 Producer 会话中的重复重试,从而避免由 Producer 重试直接产生重复 record。但这并不等于业务层天然不会重复:应用代码主动调用两次 send()、重新创建 Producer 后重复发送同一业务事件,或者不同发送路径各自投递,都不能简单归因于 Producer 的自动重试。
检查配置时,至少确认实际生效值,而不是只看配置文件中的预期值。重点关注 enable.idempotence、acks、retries、delivery.timeout.ms 等参数,并把参数与发送失败日志放在同一时间线上分析。
一个典型的错误判断是:看到“发送超时”就认定“Kafka 没收到消息”。正确做法是继续追踪对应事件是否已经出现在 Topic 中,再判断应用是否进行了第二次发送。
第三步:区分 Consumer 重投与真正的 Topic 重复
Kafka 消费通常需要面对至少一次处理语义:Consumer 可能已经完成业务处理,但还没有成功提交对应 offset,此时进程崩溃、连接中断或提交失败,恢复后会重新拉取同一 record。于是业务侧看到两次处理,但 Topic 中实际上只有一条消息。
一个常见时序是:
poll -> 读取 offset=12841
-> 执行业务更新
-> 数据库提交成功
-> offset 提交失败
-> Consumer 崩溃/重平衡
-> 重新拉取 offset=12841
-> 业务再次执行因此,看到重复业务日志后,要把两次日志中的 partition + offset 进行比较。如果相同,优先检查:
- 业务处理与 offset 提交之间是否存在时间窗口。
commitSync、commitAsync或框架自动提交是否真的成功。- 消费进程是否发生重启、rebalance、网络抖动或实例扩缩容。
- 业务执行超时后,框架是否触发重新投递或重新拉取。
这里最重要的认知是:“Kafka 消息只存在一份”与“业务只执行一次”是两个不同问题。 即使 Producer 完全幂等,只要消费处理和 offset 提交不是同一个原子操作,业务层仍然可能重复执行。
第四步:用时间线锁定第一现场
当重复问题只在生产环境偶发出现时,单看某一条日志通常不够。建议以一次重复事件为中心,把 Producer、Broker 侧可观察信息、Consumer 和业务数据库操作放进同一条时间线。
一个有效的排查顺序是:
业务事件 ID
|
+--> Producer 日志:send / retry / timeout
|
+--> Topic:partition + offset
|
+--> Consumer:poll / process start / process success
|
+--> Offset:commit success / commit failure
|
+--> 业务下游:数据库写入 / 外部 API 调用然后回答四个问题:
| 问题 | 判断结果 |
|---|---|
| 相同业务事件是否对应不同 offset? | 是:优先查 Producer 或业务重复投递 |
| 两次处理是否对应同一个 offset? | 是:优先查 Consumer 重投与提交失败 |
| Producer 是否记录了超时后再次发送? | 是:重点核对 Broker 最终是否已经写入第一次请求 |
| Consumer 已完成业务后 offset 是否成功提交? | 否:重复消费概率显著上升 |
如果事件数据包含稳定的业务事件 ID,可以进一步在 Producer、Consumer 和下游数据库之间统一传递该 ID。订单号适合做业务关联,但对于“同一订单是否真的发生了两次状态变更”,通常还需要单独的事件 ID 或幂等键。
第五步:针对根因选择修复点
定位完成后不要直接通过“让 Consumer 不再重复消费”作为唯一目标。Kafka 的消费语义与业务一致性需要分层治理。
若根因是 Producer 因超时重复发送,优先检查幂等生产配置是否生效,以及应用是否存在额外的主动重发逻辑;不要仅仅把 retries 调大。若根因是 Consumer 已完成业务但提交 offset 失败,则应缩短业务处理到 offset 提交之间的风险窗口,并让业务处理具备幂等能力。
订单类场景通常应把业务幂等作为最后一道防线,例如使用唯一业务事件 ID 建立唯一约束,或者使用状态条件更新:只有满足预期前置状态时才推进状态。这样即使同一 Kafka record 被重新处理,第二次执行也不会再次产生相同业务副作用。
需要特别注意:幂等 Producer 主要解决 Producer 重试造成的重复 record;Consumer 端的重复处理、数据库事务与 Kafka offset 提交之间的原子性问题,不会因为开启 Producer 幂等就自动消失。
第六步:形成线上故障处置闭环
发生重复消息事故时,可以按“证据优先、先定位再改参数”的原则处理:先冻结一个明确的业务事件 ID,确认它对应一个还是多个 Kafka offset;再核对 Producer 发送日志与 Consumer 处理、提交日志;最后检查是否存在重启、rebalance、超时或下游重试。
处置记录至少应留下:重复事件 ID、Topic、partition、相关 offset、首次处理时间、再次处理时间、Producer 错误或超时、Consumer 提交状态、下游副作用,以及最终确定的根因。
最终需要把事故归类到具体边界:Producer 重复发送、Consumer 重复处理、业务主动重投,还是下游副作用未做幂等。 只有明确这一边界,后续修改参数、代码或业务约束才不会把真正问题掩盖起来。