Kafka 消息重复发送怎么排查
线上发现订单事件重复时,先区分生产端重试、Broker 写入重复、消费者重复处理和业务重复,再用偏移量、日志与指标定位根因,最终判断该改配置、消费提交还是业务幂等。
技术文章 · 技术实践
READ / ARTICLES
从一个具体问题出发,读懂原理,也读懂工程中的取舍。
当前方向 · 9 篇文章
线上发现订单事件重复时,先区分生产端重试、Broker 写入重复、消费者重复处理和业务重复,再用偏移量、日志与指标定位根因,最终判断该改配置、消费提交还是业务幂等。
生产者收到成功响应并不等于消息经得住故障,本文从 acks、ISR、min.insync.replicas 与幂等的关系出发,给出按业务可靠性选择 Kafka 写入配置的方法。
Broker 故障或副本落后时,Kafka 为什么有时能快速切换 Leader、有时却会让分区不可用?本文从 ISR、Leader 选举和生产确认关系出发,判断可用性与数据安全的边界。
线上出现 ISR 持续缩小、Under Replicated Partitions 或分区不可用时,沿副本状态、Broker 资源、控制面和客户端证据逐层定位,并判断该先恢复副本还是先保护数据。
线上出现提交失败、事务超时、Producer Fencing 或重复结果时,先从异常类型、transactional.id、offset 与分区日志建立证据链,再判断究竟是事务失败、消费重试还是外部副作用重复。
当 Kafka 链路出现重试、崩溃或消费回退时,所谓 Exactly-Once 并不等于业务代码只执行一次。本文厘清 Kafka 事务、幂等、offset 与 read_committed 的保证范围,并判断哪些外部副作用仍需单独治理。