消息队列 / 系统课时

业务幂等消费

业务幂等消费

Kafka 消费者即使启用了可靠提交,也可能因为重试、再均衡或故障恢复再次收到同一条业务消息。本节用业务唯一键、去重表和条件更新把“至少一次投递”转换为“业务只生效一次”,并给出可直接验证的数据库实现。

学习目标

  • 能区分“消息被重复投递”和“业务被重复执行”
  • 能用业务唯一键或去重表拦截重复消费
  • 能判断何时应使用条件更新而不是单纯去重

幂等的边界在业务结果

Kafka 的 offset 只能说明消费者读到哪里,不能证明外部数据库、支付接口或库存服务只执行了一次。典型故障窗口是:业务写入已经成功,但进程在提交 offset 前宕机;重启后同一消息会再次被拉取。

因此幂等键应来自业务事实,而不是本次消费过程。常见选择包括订单号、支付流水号、事件 ID,或“业务主键 + 事件类型 + 版本号”的组合。只要同一业务动作在重试时还能得到同一个键,就能把重复识别交给持久化存储。

业务幂等消费的处理路径

用唯一约束做原子去重

最稳妥的做法是让“是否处理过”与业务更新处于同一个数据库事务中,并用唯一约束解决并发竞争。下面以 PostgreSQL 为例:第一次插入事件 ID 会成功,第二次相同事件会被数据库原子地拒绝。

sql
DROP TABLE IF EXISTS processed_event;

CREATE TABLE processed_event (
    event_id varchar(64) PRIMARY KEY,
    processed_at timestamptz NOT NULL DEFAULT now()
);

INSERT INTO processed_event(event_id)
VALUES ('evt-order-1001-paid')
ON CONFLICT DO NOTHING
RETURNING event_id;

INSERT INTO processed_event(event_id)
VALUES ('evt-order-1001-paid')
ON CONFLICT DO NOTHING
RETURNING event_id;

预期结果:第一次 INSERT 返回一行,第二次返回 0 行;时间值会因实际执行时间不同而变化。

text
       event_id
------------------------
 evt-order-1001-paid
(1 row)

 event_id
----------
(0 rows)

消费者可以把“返回一行”解释为首次处理,把“0 行”解释为重复消息。不要先 SELECT 再 INSERT,因为两个并发消费者可能同时查到“不存在”,随后同时执行业务逻辑;唯一约束才能把判断和占位合并成一个原子动作。

状态表和条件更新处理有序业务

某些消息不是简单的“只做一次”,而是只允许状态向前推进。例如订单只能从 PAID 更新到 SHIPPED,重复的 SHIPPED 事件应无副作用,晚到的旧事件也不应把状态倒退。

这类场景应把幂等条件写进 UPDATE 的 WHERE 子句,例如同时匹配订单 ID、当前状态和事件版本。数据库返回受影响行数为 1 表示状态真的发生了跃迁,返回 0 则说明消息已处理、状态不符合或版本已过期。这样比“所有消息都塞进去重表”更贴近业务不变量。

提交顺序与失败恢复

常见顺序是先提交数据库事务,再提交 Kafka offset。这样如果数据库成功后进程崩溃,消息会被重投,但唯一键或条件更新会拦住第二次业务执行;如果反过来先提交 offset,再写数据库,则进程可能在两者之间宕机,造成消息永久丢失。

外部 HTTP 调用不能与本地数据库自然组成一个原子事务。此时应优先使用对方提供的幂等键;若没有,应把待调用动作先记录为本地可重试任务,再由独立执行器发送并记录结果,而不是在消费线程里“调用成功后再想办法记账”。

业务幂等的核心不是让 Kafka 永远不重复,而是接受重复可能发生,并让数据库约束、状态机或外部接口的幂等键保证同一个业务事实最多生效一次。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

业务幂等消费

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通