消息队列 / 系统课时
重复消息怎么做业务防线
重复消息怎么做业务防线
本篇解决 Kafka 即使已经开启生产者幂等后,业务仍可能面对的重复事件:应用重启后再次发送、上游重复请求、跨会话重放或消费端重试。最终目标是让同一个业务操作即使被投递多次,也只产生一次可接受的业务结果。
学习目标
- 能为业务事件设计稳定、可重放的幂等键。
- 能用唯一约束、去重表和业务状态校验构成消费侧防线。
- 能区分“重复消息”和“状态已变化”,避免错误地重复扣款、扣库存或推进状态。
幂等键要代表业务意图
幂等键不能简单使用 Kafka 的 offset。offset 只标识某个分区中的位置,换一套消费组、重新发布消息或跨集群迁移后,都不能继续表达“这是同一次业务操作”。更合适的做法是让上游为一次业务意图生成稳定 ID,例如订单创建使用 order_id,支付指令使用 payment_request_id,库存扣减使用 deduct_request_id。
好的幂等键需要同时满足稳定、唯一和可传递。稳定意味着同一次重试不变,唯一意味着不同业务操作不能碰撞,可传递意味着它能跟着消息进入消费者并进入业务数据库。不要把时间戳、随机 UUID 在每次重试时重新生成,否则每一次重试都会被当成新业务。

去重表先挡住重复执行
最小实现可以使用一张消费去重表,让数据库唯一约束承担并发下的最终裁决。关键点是“记录幂等键”和“执行副作用”必须处在同一个数据库事务里,这样重复请求不会先看到一条未提交的记录后又并发执行一次业务操作。
CREATE TABLE processed_messages (
idempotency_key VARCHAR(128) PRIMARY KEY,
consumer_name VARCHAR(64) NOT NULL,
processed_at TIMESTAMP NOT NULL,
result_status VARCHAR(32) NOT NULL
);预期结果
CREATE TABLE消费流程可以概括为:收到消息后先尝试插入幂等键;插入成功才继续业务更新;插入因唯一键冲突而失败时,将它视为重复消息,不再执行原业务副作用。实际项目中应根据数据库选择合适的“插入并判断冲突”语法,并确保异常不会把业务事务留在半完成状态。
状态校验解决“重复但业务已推进”
仅靠去重表还不够,因为数据库可能已经存在一次成功业务,而去重记录由于故障、历史数据迁移或人工修复而缺失。业务表自身还应有状态门槛,例如订单只有 CREATED 才允许扣库存,支付只有 UNPAID 才允许进入支付处理中。
UPDATE orders
SET status = 'PAID', paid_at = CURRENT_TIMESTAMP
WHERE order_id = '<ID>'
AND status = 'UNPAID';预期结果
1 row affected这里的 1 row affected 表示状态从 UNPAID 成功推进到 PAID;若重复消息到达时状态已经是 PAID,受影响行数应为 0,消费者即可识别为“业务已经处理过”,而不是再次执行支付或其他副作用。实际返回值取决于数据库驱动的 affected-rows 语义,因此生产代码仍应结合读取结果或明确的状态机判断。
去重和状态校验如何配合
去重表回答的是“这个请求 ID 是否已经处理过”,状态校验回答的是“当前业务对象是否仍允许执行这个动作”。两者解决的问题不同:前者偏向消息级防线,后者偏向业务状态级防线。
在高价值副作用场景中,建议把它们放进同一事务:先争抢幂等键,再检查业务状态,执行状态变更或扣减,最后提交。任何一步失败都回滚;只有事务提交后,消费者才允许把这条消息视为成功处理并进入正常消费确认流程。
最容易出错的几种设计
最常见的问题是用“先查询、再插入”做去重。两个并发消费者都可能先查到不存在,然后同时执行副作用;真正的并发保护应由数据库唯一约束或等价的原子操作完成。
另一个问题是把 Kafka key 当成永久业务幂等键。Kafka key 主要参与分区选择,并不天然表达一次业务操作的全生命周期;业务幂等键应由业务语义定义,并在消息负载和业务表中保持一致。
还要避免把“重复消息”一律当成异常。正常重试产生的重复事件应是可预期路径;系统真正需要监控的是重复率突然升高、同一幂等键跨状态异常推进,或大量消息因为状态门禁被拒绝。
验收一条完整防线
可以用同一个 <ID> 连续投递两次做最小验收:第一次应成功创建去重记录并推进业务状态,第二次命中唯一键或状态门禁,不再产生第二次业务副作用。这样验证的不是“Kafka 有没有重复消息”,而是“重复消息到达后,业务结果是否仍然正确”。
最终应把责任边界固定下来:生产者幂等负责降低 Kafka 追加层面的重复,业务幂等键负责识别同一次业务意图,唯一约束负责并发裁决,状态校验负责阻止已经完成或不再允许的操作。只有这几层组合起来,才能把“可能重复投递”转化为“业务结果可重复执行但副作用不重复”。