Redis 与缓存 / 系统课时

设计幂等消费

设计幂等消费

Redis Streams 的重试、接管和重新投递都会让同一业务事件再次到达消费者。本课把业务幂等键、数据库唯一约束、事务边界与 XACK 顺序串成一条完整链路,让消息可以重复投递,但业务副作用只生效一次。

学习目标

  • 能区分 Stream 消息 ID 与业务幂等键的职责。
  • 能用唯一约束和数据库事务原子地保护业务副作用。
  • 能解释数据库提交后再 XACK 的原因,并识别跨系统副作用的额外边界。

先确定真正的幂等键

Redis Streams 的消息 ID,例如 1700000000001-0,唯一标识 Stream 中的一条 Entry,适合做投递追踪和排障,但它不一定等于业务事件身份。同一支付事件可能被重新发布并获得新的消息 ID,同一条消息也可能因消费者故障而再次投递。

因此,业务幂等应优先使用稳定的业务唯一键,例如 event_id、支付流水号或订单事件号;消息 ID 只作为辅助审计字段保存。这样既能挡住“同一消息重投”,也能挡住“同一业务事件换了一个 Stream ID 再发布”。

Redis Streams 幂等消费的消息 ID、业务唯一键与状态表关系

用 PostgreSQL 事务绑定去重与业务更新

下面的主示例以 PostgreSQL 16 为基线,ON CONFLICT 与 PL/pgSQL 都是 PostgreSQL 语法,不应直接照搬到 MySQL 等数据库。真正需要保证的是:抢到业务事件处理权、修改业务数据和写入完成状态必须属于同一个数据库事务。

processed_events.event_id 的主键充当并发裁判。函数先尝试插入 PROCESSING;只有首次插入成功的事务才继续修改订单。这里的 PROCESSING 不会先单独提交,它只是当前事务中的中间状态:订单更新失败时整笔事务回滚,去重记录也随之消失;订单更新成功时,状态在同一事务中改成 DONE。

sql
CREATE TABLE orders (
    order_id VARCHAR(64) PRIMARY KEY,
    status VARCHAR(16) NOT NULL
        CHECK (status IN ('PENDING', 'PAID'))
);

INSERT INTO orders (order_id, status)
VALUES ('order-10001', 'PENDING');

CREATE TABLE processed_events (
    event_id VARCHAR(64) PRIMARY KEY,
    message_id VARCHAR(64) NOT NULL,
    status VARCHAR(16) NOT NULL
        CHECK (status IN ('PROCESSING', 'DONE')),
    processed_at TIMESTAMPTZ NOT NULL DEFAULT CURRENT_TIMESTAMP
);

CREATE OR REPLACE FUNCTION apply_payment(
    p_event_id VARCHAR,
    p_message_id VARCHAR,
    p_order_id VARCHAR
)
RETURNS TEXT
LANGUAGE plpgsql
AS $$
DECLARE
    accepted_event_id VARCHAR(64);
    changed_rows INTEGER;
BEGIN
    -- 唯一约束负责裁决两个消费者同时竞争同一业务事件。
    INSERT INTO processed_events (event_id, message_id, status)
    VALUES (p_event_id, p_message_id, 'PROCESSING')
    ON CONFLICT (event_id) DO NOTHING
    RETURNING event_id INTO accepted_event_id;

    IF accepted_event_id IS NULL THEN
        RETURN 'DUPLICATE';
    END IF;

    -- 业务更新与去重登记处于同一事务,任一步失败都不能留下半成品。
    UPDATE orders
    SET status = 'PAID'
    WHERE order_id = p_order_id
      AND status = 'PENDING';

    GET DIAGNOSTICS changed_rows = ROW_COUNT;
    IF changed_rows <> 1 THEN
        RAISE EXCEPTION 'order % is not pending or does not exist', p_order_id;
    END IF;

    UPDATE processed_events
    SET status = 'DONE',
        processed_at = CURRENT_TIMESTAMP
    WHERE event_id = p_event_id;

    RETURN 'APPLIED';
END;
$$;

SELECT apply_payment(
    'pay-10001',
    '1700000000001-0',
    'order-10001'
) AS result;

SELECT apply_payment(
    'pay-10001',
    '1700000000002-0',
    'order-10001'
) AS result;

SELECT order_id, status
FROM orders
WHERE order_id = 'order-10001';

SELECT event_id, message_id, status
FROM processed_events
WHERE event_id = 'pay-10001';

预期结果

text
  result
---------
 APPLIED
(1 row)

  result
-----------
 DUPLICATE
(1 row)

   order_id    | status
---------------+--------
 order-10001   | PAID
(1 row)

  event_id   |     message_id      | status
-------------+---------------------+--------
 pay-10001   | 1700000000001-0    | DONE
(1 row)

第二次调用故意使用不同的 Stream 消息 ID,但业务键仍是 pay-10001,因此返回 DUPLICATE,订单不会再次生效。并发执行时,唯一约束也会把处理权收敛到一个事务;如果获胜事务最终回滚,去重行不会被提交,后续重试仍可重新取得处理权。

还要注意,PL/pgSQL 函数本身不是提交边界。它运行在调用方的数据库事务中:若连接使用自动提交,成功的 SELECT apply_payment(...) 结束后事务才提交;若应用显式开启事务,则必须等外层 COMMIT 真正成功后才能确认 Redis 消息。

数据库提交后再确认消息

Redis 与业务数据库通常不在同一个本地事务里,因此不应追求“两边同时提交”,而应接受至少一次投递,再由幂等事务消化重复。消费顺序应保持为:

  1. 用 XREADGROUP 取得消息并解析 event_id。
  2. 在业务数据库执行幂等事务。
  3. 等数据库事务真正提交成功;若结果为首次应用成功,或已确认该业务事件此前已经完成,再对当前消息执行 XACK。
  4. 数据库事务报错或提交失败时不要 XACK,让消息留在 PEL 中等待重试或接管。

最关键的故障窗口是“数据库已经提交,但消费者还没来得及 XACK 就崩溃”。消息之后会再次投递,但数据库中的业务唯一键会把它识别为重复,因此业务不会再次生效。XACK 负责结束 Redis 侧的待确认状态,数据库事务负责保护业务侧的一次性效果。

跨系统副作用不能只靠状态表

如果副作用不是同一个数据库里的更新,而是调用支付网关、发邮件或请求另一个服务,本地数据库事务无法回滚远端已经完成的动作。即使本地有 PROCESSING、DONE 状态,也不能仅凭状态表获得严格的一次性外部效果。

更稳妥的做法是把同一个 event_id 作为下游接口的幂等键;或者在本地事务中写入 Outbox,再由独立投递器发送。Outbox 能保证“业务变更”和“待发送事件”原子落库,但下游仍应支持幂等键或去重。没有共享事务、也没有下游幂等能力时,仅靠 Redis Streams 和本地状态表无法承诺外部副作用绝对只执行一次。

用故障场景验收幂等边界

验收时至少覆盖五种情况:同一 Stream 消息重复投递、同一 event_id 被重新发布成不同消息 ID、两个消费者同时竞争、消费者在数据库提交前崩溃,以及数据库提交后但 XACK 前崩溃。前四类用于验证事务与唯一约束,第五类专门验证“重复到达但不重复生效”。

如果副作用跨系统,还要测试远端成功但本地记录失败、请求超时但远端实际成功等不确定结果,并确认下游幂等键或补偿机制能够收敛。最终判断标准只有一个:消息可以重复到达,业务结果不能重复生效。

按自己的节奏,确认真正理解。

目录与阅读设置

记录一个想法

设计幂等消费

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通