消息队列 / 系统课时
业务幂等消费
业务幂等消费
Kafka 消费者即使启用了可靠提交,也可能因为重试、再均衡或故障恢复再次收到同一条业务消息。本节用业务唯一键、去重表和条件更新把“至少一次投递”转换为“业务只生效一次”,并给出可直接验证的数据库实现。
学习目标
- 能区分“消息被重复投递”和“业务被重复执行”
- 能用业务唯一键或去重表拦截重复消费
- 能判断何时应使用条件更新而不是单纯去重
幂等的边界在业务结果
Kafka 的 offset 只能说明消费者读到哪里,不能证明外部数据库、支付接口或库存服务只执行了一次。典型故障窗口是:业务写入已经成功,但进程在提交 offset 前宕机;重启后同一消息会再次被拉取。
因此幂等键应来自业务事实,而不是本次消费过程。常见选择包括订单号、支付流水号、事件 ID,或“业务主键 + 事件类型 + 版本号”的组合。只要同一业务动作在重试时还能得到同一个键,就能把重复识别交给持久化存储。

用唯一约束做原子去重
最稳妥的做法是让“是否处理过”与业务更新处于同一个数据库事务中,并用唯一约束解决并发竞争。下面以 PostgreSQL 为例:第一次插入事件 ID 会成功,第二次相同事件会被数据库原子地拒绝。
DROP TABLE IF EXISTS processed_event;
CREATE TABLE processed_event (
event_id varchar(64) PRIMARY KEY,
processed_at timestamptz NOT NULL DEFAULT now()
);
INSERT INTO processed_event(event_id)
VALUES ('evt-order-1001-paid')
ON CONFLICT DO NOTHING
RETURNING event_id;
INSERT INTO processed_event(event_id)
VALUES ('evt-order-1001-paid')
ON CONFLICT DO NOTHING
RETURNING event_id;预期结果:第一次 INSERT 返回一行,第二次返回 0 行;时间值会因实际执行时间不同而变化。
event_id
------------------------
evt-order-1001-paid
(1 row)
event_id
----------
(0 rows)消费者可以把“返回一行”解释为首次处理,把“0 行”解释为重复消息。不要先 SELECT 再 INSERT,因为两个并发消费者可能同时查到“不存在”,随后同时执行业务逻辑;唯一约束才能把判断和占位合并成一个原子动作。
状态表和条件更新处理有序业务
某些消息不是简单的“只做一次”,而是只允许状态向前推进。例如订单只能从 PAID 更新到 SHIPPED,重复的 SHIPPED 事件应无副作用,晚到的旧事件也不应把状态倒退。
这类场景应把幂等条件写进 UPDATE 的 WHERE 子句,例如同时匹配订单 ID、当前状态和事件版本。数据库返回受影响行数为 1 表示状态真的发生了跃迁,返回 0 则说明消息已处理、状态不符合或版本已过期。这样比“所有消息都塞进去重表”更贴近业务不变量。
提交顺序与失败恢复
常见顺序是先提交数据库事务,再提交 Kafka offset。这样如果数据库成功后进程崩溃,消息会被重投,但唯一键或条件更新会拦住第二次业务执行;如果反过来先提交 offset,再写数据库,则进程可能在两者之间宕机,造成消息永久丢失。
外部 HTTP 调用不能与本地数据库自然组成一个原子事务。此时应优先使用对方提供的幂等键;若没有,应把待调用动作先记录为本地可重试任务,再由独立执行器发送并记录结果,而不是在消费线程里“调用成功后再想办法记账”。
业务幂等的核心不是让 Kafka 永远不重复,而是接受重复可能发生,并让数据库约束、状态机或外部接口的幂等键保证同一个业务事实最多生效一次。