消息队列 / 系统课时
排查重复消息现象
排查重复消息现象
本课解决“明明启用了事务或 Exactly-Once,为什么业务仍然看到重复”的问题。核心不是先判断 Kafka 有没有重复,而是沿着生产、消费、应用重试和外部系统四条路径逐层定位重复究竟在哪里产生。
学习目标
- 能区分 Producer 重试、消费回退和应用重试造成的重复现象
- 能判断 Kafka 的 Exactly-Once 语义覆盖到哪里、没有覆盖到哪里
- 能用消息身份与业务幂等证据定位外部系统的重复写入
先定义“重复”发生在哪一层
看到两条相似业务记录,并不等于 Kafka 同一条记录被重复投递。排障第一步要记录消息的 topic、partition、offset、业务唯一键以及处理日志中的尝试次数,然后判断是“同一个 Kafka 记录被重复观察”,还是“两个不同 Kafka 记录携带了同一个业务请求”。
Kafka 的 Exactly-Once 语义重点解决 Kafka 事务链路中的原子写入与正确读取边界;当结果离开 Kafka,进入数据库、HTTP 服务或其他外部系统后,是否重复写入取决于下游是否提供相应的幂等或事务协同能力。

识别 Producer 重试造成的重复
在没有正确启用幂等生产者、事务或相关可靠发送机制时,Producer 可能因为请求超时而重试。一个常见误区是“broker 已经写成功,但响应没回来”,于是客户端再次发送同一业务事件,最终可能形成两个 Kafka 记录。
排查时重点比较两条消息的 partition 和 offset。若业务唯一键相同,但 offset 不同,说明它们是 Kafka 中的两条独立记录,不能简单归因于“Consumer 重复消费”。
业务ID=order-<ID>
topic=orders
partition=3
offset=12041
业务ID=order-<ID>
topic=orders
partition=3
offset=12042预期结果
两个offset不同,说明Kafka中存在两条独立记录。在这种情况下,应继续查看 Producer 配置和发送日志,而不是先去改 Consumer 的 offset 提交逻辑。
识别消费回退与重新处理
另一类重复来自 Consumer 已经处理了业务,但 offset 尚未成功提交,随后发生重启、再均衡或处理失败,新的 Consumer 又从较早位置读取同一条记录。
这类现象通常表现为同一个 topic、partition、offset 被业务日志处理多次。可以在处理入口打印唯一定位信息,把 Kafka 记录与业务处理尝试关联起来。
System.out.printf(
"topic=%s partition=%d offset=%d key=%s%n",
record.topic(),
record.partition(),
record.offset(),
record.key()
);
process(record);预期输出
topic=orders partition=3 offset=12041 key=order-<ID>
topic=orders partition=3 offset=12041 key=order-<ID>同一个 offset 出现两次时,优先检查 offset 提交时机、Consumer 重启、再均衡以及异常处理路径。此时重复的是处理尝试,不一定意味着 Kafka 中存在两条消息。
识别应用层主动重试
业务代码还可能在消费失败后自行重试,例如捕获异常后重新调用处理方法,或者使用任务队列再次执行同一业务。这种重复通常发生在 Kafka Consumer 之外,offset 甚至可能完全正常提交。
判断方法是对比每次处理的业务请求 ID、Kafka offset 和应用重试计数。如果 offset 相同但应用内部尝试次数递增,说明重点应该转向应用重试策略,而不是修改 Kafka 复制或事务参数。
判断外部系统是否真正发生了重复写入
最容易被忽略的是 Kafka 处理本身没有重复,但下游数据库或 HTTP 服务发生了重复写入。例如 Consumer 已经从 Kafka 正常读取一次,却在数据库提交成功之后因为链路异常再次执行写入。如果数据库没有唯一约束或幂等键,两次执行就可能留下两条业务数据。
可以把业务唯一键作为数据库幂等边界。下面是一个典型的 SQL 约束片段;它依赖现有 orders 表已经存在 request_id 列。
ALTER TABLE orders
ADD CONSTRAINT uk_orders_request_id UNIQUE (request_id);预期结果
Query OK, table altered successfully不同数据库版本或表状态下,命令返回文本可能不同;验证重点是唯一约束已经存在,并且重复 request_id 无法再写入第二份业务记录。
最快的定位顺序
实际线上排查可以按四个问题推进:两条消息是同一个 offset 还是不同 offset;业务唯一键是否相同;重复发生在 Kafka 读取前、应用处理过程中还是下游写入后;最后一次成功的状态究竟记录在哪里。
如果是不同 offset,应优先查 Producer;如果是同一 offset 多次处理,应检查 Consumer 提交与回退;如果同一业务 ID 被应用主动执行多次,应检查重试;如果 Kafka 侧只处理一次而数据库出现两条,则根因通常在外部系统缺少幂等控制。
Exactly-Once 不能被理解成“整个互联网调用链天然只执行一次”。更准确的做法是把 Kafka 内部的事务语义与业务外部副作用分开设计,并用业务唯一键、唯一约束或幂等记录把重复执行变成可安全重试的操作。