架构与系统设计 / 系统课时

用幂等消费抵御重复投递

用幂等消费抵御重复投递

可靠消息通常以“至少投递一次”换取不丢消息,因此消费者必须把重复投递当成正常路径。目标不是阻止消息再次到达,而是让同一业务事件无论执行一次还是多次,最终都只产生一份订单和一次可观察副作用。

学习目标

  • 识别确认丢失、消费者重启和位点回退导致的重复投递。
  • 用业务唯一键、去重记录和数据库唯一约束实现幂等消费。
  • 正确安排数据库提交与消息确认的先后顺序。

把重复投递视为正常路径

最典型的重复发生在“业务已提交,但消息还没确认”这个窗口:消费者写库成功后进程崩溃,Broker 没收到确认,于是恢复后再次投递同一消息。类似地,消费者重启、重新均衡或人工回退消费位点,也可能让已处理记录再次出现。

重复投递下的幂等消费时序

因此,消息确认必须建立在业务结果已经安全落地之后。先确认再写库虽然减少重复,却会在确认成功、写库失败时造成永久丢单;正确方向是允许重投,再由消费者把重复执行变成无害操作。

用业务唯一键定义同一件事

幂等键必须代表业务动作,而不是某一次投递尝试。创建订单可直接使用 orderId,支付可使用支付请求号,库存预占可使用预占单号。若生产端每次重试都生成新的消息 ID,仅以消息 ID 判重就无法识别“同一业务动作的两次发送”。

常见实现有三类:业务表唯一约束适合天然拥有唯一键的创建操作;独立去重表适合统一记录处理过的事件;状态机条件更新适合只允许从特定旧状态迁移到新状态。生产系统经常把前两者组合使用,让去重表负责识别消息,让业务表唯一约束承担最后一道防线。

把判重与副作用放进同一事务

下面的 PostgreSQL 示例用 consume_dedup.event_id 作为幂等键。第一次投递能插入去重记录,CTE 会返回一行并创建订单;第二次投递遇到主键冲突,claimed 为空,因此订单写入自然变成零行。两步处于同一数据库事务中,任一业务写入失败时,去重记录也会一起回滚。

sql
DROP TABLE IF EXISTS orders;
DROP TABLE IF EXISTS consume_dedup;

CREATE TABLE consume_dedup (
    event_id varchar(64) PRIMARY KEY,
    processed_at timestamptz NOT NULL DEFAULT now()
);

CREATE TABLE orders (
    order_id varchar(64) PRIMARY KEY,
    user_id bigint NOT NULL,
    sku_id bigint NOT NULL
);

-- 第一次投递:抢到幂等键后才允许产生订单副作用。
BEGIN;
WITH claimed AS (
    INSERT INTO consume_dedup(event_id)
    VALUES ('evt-1001')
    ON CONFLICT DO NOTHING
    RETURNING event_id
)
INSERT INTO orders(order_id, user_id, sku_id)
SELECT 'ord-1001', 42, 9001
FROM claimed;
COMMIT;

-- 模拟同一 event_id 的重复投递。
BEGIN;
WITH claimed AS (
    INSERT INTO consume_dedup(event_id)
    VALUES ('evt-1001')
    ON CONFLICT DO NOTHING
    RETURNING event_id
)
INSERT INTO orders(order_id, user_id, sku_id)
SELECT 'ord-1001', 42, 9001
FROM claimed;
COMMIT;

SELECT event_id FROM consume_dedup ORDER BY event_id;
SELECT order_id, user_id, sku_id FROM orders ORDER BY order_id;

预期输出

text
 event_id
----------
 evt-1001
(1 row)

 order_id | user_id | sku_id
----------+---------+-------
 ord-1001 |      42 |  9001
(1 row)

即使相同事件执行两次,数据库中仍只有一条去重记录和一张订单。消费者应在 COMMIT 成功之后再确认消息;如果提交成功而确认丢失,下一次投递仍会被唯一键安全拦住。

处理事务外副作用与去重保留期

数据库事务只能覆盖同一事务资源。若消费逻辑还会调用支付接口、发送短信或发布下一条消息,仅在本地表中判重并不能让远程副作用自动获得原子性。对外请求应携带下游认可的幂等键;需要继续发消息时,可以先把待发送事件写入本地 Outbox,再由独立发布器可靠转发。

去重记录也不能过早清理。保留期至少要覆盖消息可能重放的最大窗口,包括 Broker 重试、死信回放、位点回退和人工补偿周期;否则旧记录被删除后,同一事件再次出现就会重新产生副作用。真正可靠的幂等消费,不是“查过就算”,而是让唯一键、事务边界、消息确认和外部副作用共同形成闭环。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

用幂等消费抵御重复投递

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通