架构与系统设计 / 系统课时

用幂等处理重复消息

用幂等处理重复消息

消息系统通常只能保证“至少一次”投递:超时重试、消费者重启或确认丢失,都可能让同一事件再次到达。本篇用业务幂等键、消费记录与事务内状态检查,把“重复收到”变成“只产生一次业务结果”。

学习目标

  • 为消息选择稳定且可追踪的业务幂等键
  • 用消费记录与业务唯一约束阻止重复副作用
  • 识别先查后写等常见竞态,并设计可验证的幂等处理

把重复投递与重复业务结果分开

重复消息本身不是故障,真正要避免的是重复扣款、重复发券、重复创建订单等副作用。消费者应该允许同一事件被再次投递,但每次处理都先判断“这个业务动作是否已经成功发生”。

最可靠的幂等键来自业务语义,例如付款使用 paymentId、发券使用 campaignId + userId、订单创建使用调用方生成的 requestId。不要把消费者本地时间、重试次数或每次消费时新生成的 UUID 当作幂等键,因为这些值在重复投递时会变化。

重复消息的幂等消费链路

用唯一约束把判断变成原子操作

仅仅执行“先查询是否处理过,再插入结果”并不安全。两个并发消费者可能同时查到不存在,然后都继续写入。应把幂等判断交给数据库唯一约束,让“第一次成功、后续冲突”成为原子事实。

下面以 PostgreSQL 模拟同一发券事件被消费两次。message_inbox.event_id 记录已经处理的消息,coupon_grant 再用业务唯一键兜底;两层约束共同保护业务结果。

sql
DROP TABLE IF EXISTS coupon_grant;
DROP TABLE IF EXISTS message_inbox;
CREATE TABLE message_inbox (
    event_id text PRIMARY KEY,
    consumer_name text NOT NULL,
    processed_at timestamptz NOT NULL DEFAULT now()
);
CREATE TABLE coupon_grant (
    campaign_id text NOT NULL,
    user_id text NOT NULL,
    coupon_code text NOT NULL,
    PRIMARY KEY (campaign_id, user_id)
);
BEGIN;
WITH accepted AS (
    INSERT INTO message_inbox (event_id, consumer_name)
    VALUES ('event-1001', 'coupon-service')
    ON CONFLICT DO NOTHING
    RETURNING event_id
)
INSERT INTO coupon_grant (campaign_id, user_id, coupon_code)
SELECT 'campaign-2026', 'user-42', 'WELCOME-42'
FROM accepted
ON CONFLICT DO NOTHING;
COMMIT;
BEGIN;
WITH accepted AS (
    INSERT INTO message_inbox (event_id, consumer_name)
    VALUES ('event-1001', 'coupon-service')
    ON CONFLICT DO NOTHING
    RETURNING event_id
)
INSERT INTO coupon_grant (campaign_id, user_id, coupon_code)
SELECT 'campaign-2026', 'user-42', 'WELCOME-42'
FROM accepted
ON CONFLICT DO NOTHING;
COMMIT;
SELECT campaign_id, user_id, coupon_code
FROM coupon_grant;

预期输出

text
  campaign_id  | user_id | coupon_code
---------------+---------+-------------
 campaign-2026 | user-42 | WELCOME-42
(1 row)

两次事务都可以正常提交,但只有第一次能从 accepted 返回行,因此业务写入只执行一次。不同 PostgreSQL 客户端显示的空格和命令状态文本可能不同,最终结果应只有一条发券记录。

让消费记录与业务写入同生共死

消费记录和业务结果必须处在同一个本地事务里。若先写 message_inbox 再单独更新业务表,业务写入失败后重试会被误判为“已经处理”;反过来先做业务写入再记录消费,也可能在崩溃后重复产生副作用。

若业务结果写入另一个远程服务,就不能用单库事务把两者绑在一起。此时应把当前服务能保证的状态落库,再通过 Outbox、Saga 或下游自身幂等键继续传递一致性责任,而不是把“调用成功过一次”保存在进程内存里。

选择状态检查还是消费记录

如果业务实体天然带有不可逆状态,可以先用状态机约束动作,例如订单只有从 UNPAID 才能进入 PAID。但状态检查仍应通过带条件的原子更新完成,不能先读状态再无条件写入。

消费记录适合“每个事件只执行一次”的保护,业务唯一约束适合“某类结果最多存在一次”的保护。关键副作用通常同时使用两者:消费记录负责识别重复事件,业务约束负责在代码缺陷、并发或历史重放时提供最后一道防线。

最终验收标准不是“日志只打印一次”,而是重复投递同一幂等键后,数据库中的业务结果数量、余额变化或状态迁移都保持不变;只要这一点成立,消费者就能安全面对重投与重启。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

用幂等处理重复消息

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通