架构与系统设计 / 系统课时

给库存消费增加幂等和重试

给库存消费增加幂等和重试

库存已经扣减,消费者却在确认消息前断线,同一事件就会再次到达。本篇把幂等记录、库存变化和处理结果放进同一事务,再按失败性质安排延迟重试或死信隔离,验证重复投递不会重复扣减,失败也不会被悄悄跳过。

学习目标

  • 使用稳定幂等键和数据库事务保护库存扣减。
  • 区分重复投递、业务拒绝、暂时故障与不可处理消息。
  • 设计可恢复的退避重试、死信交接与回放验收。

把幂等边界落在库存事务

本篇接收 OrderConfirmed 事件,要求包含 eventId、schemaVersion,以及 data 中的 orderId、sku、quantity。示例只处理契约版本 1 的单商品订单;进入数据库前应验证事件类型、必填字段和正整数数量。

幂等键采用 (consumer_name, event_id)。消费者名称表示稳定的业务处理职责,不能随进程或部署版本变化;event_id 必须沿用发送方标识,不能用每次投递产生的标签或重试次数替代。

先查询再扣减存在并发窗口。本例用数据库唯一约束争取处理权,再把幂等记录、条件扣减和结果事件放进同一个事务。PostgreSQL 的 ON CONFLICT 可以针对指定唯一约束处理冲突,而不是把所有数据库错误都当成重复。([PostgreSQL][8])

库存消费中的幂等事务、业务拒绝、退避重试与死信分流

这里保护的是同一事件的重复投递。如果生产者把同一库存操作误生成两个不同事件 ID,还需要库存预占流水上的业务唯一键,例如订单行与预占轮次。单用订单号会误伤多商品或多轮合法操作,不能作为通用去重键。

用 SQL 验证重复投递

以下是 PostgreSQL 16 的完整数据库实验。在新测试库、启用自动提交且采用 READ COMMITTED 的会话执行。它不启动消息监听器;两次独立函数调用模拟同一消息的两次投递。固定 UUID、订单号和商品号都是测试常量。

result_outbox 保存待发处理结果,后台应沿用其 event_id 发布,收到 Broker 确认后再标记完成。它使库存不足也能成为可靠的业务结果,而不是只记一条日志;本实验只验证这些结果与库存事务一起落库。

sql
CREATE SCHEMA inventory_demo;

CREATE TABLE inventory_demo.stock (
    sku text PRIMARY KEY,
    available integer NOT NULL CHECK (available >= 0)
);

CREATE TABLE inventory_demo.inbox (
    consumer_name text NOT NULL,
    event_id uuid NOT NULL,
    order_id bigint NOT NULL,
    sku text NOT NULL,
    quantity integer NOT NULL CHECK (quantity > 0),
    outcome text NOT NULL
        CHECK (outcome IN ('PROCESSING', 'RESERVED', 'REJECTED')),
    PRIMARY KEY (consumer_name, event_id)
);

CREATE TABLE inventory_demo.result_outbox (
    event_id uuid PRIMARY KEY DEFAULT gen_random_uuid(),
    cause_event_id uuid NOT NULL UNIQUE,
    event_type text NOT NULL,
    payload jsonb NOT NULL,
    state text NOT NULL DEFAULT 'PENDING'
);

INSERT INTO inventory_demo.stock VALUES ('SKU-1', 10);

CREATE FUNCTION inventory_demo.reserve(
    p_event_id uuid, p_order_id bigint, p_sku text, p_quantity integer
) RETURNS text
LANGUAGE plpgsql
AS $$
DECLARE
    v_inserted integer;
    v_previous inventory_demo.inbox%ROWTYPE;
    v_outcome text;
BEGIN
    -- 参数错误不是可自动重试的库存争抢。
    IF p_event_id IS NULL OR p_order_id IS NULL OR p_order_id <= 0
       OR p_sku IS NULL OR btrim(p_sku) = ''
       OR p_quantity IS NULL OR p_quantity <= 0 THEN
        RAISE EXCEPTION USING
            ERRCODE = '22023', MESSAGE = 'invalid reservation event';
    END IF;

    INSERT INTO inventory_demo.inbox
        (consumer_name, event_id, order_id, sku, quantity, outcome)
    VALUES
        ('inventory-reserve', p_event_id, p_order_id,
         p_sku, p_quantity, 'PROCESSING')
    ON CONFLICT (consumer_name, event_id) DO NOTHING;
    GET DIAGNOSTICS v_inserted = ROW_COUNT;

    IF v_inserted = 0 THEN
        SELECT * INTO v_previous
        FROM inventory_demo.inbox
        WHERE consumer_name = 'inventory-reserve'
          AND event_id = p_event_id;
        -- 同一个事件ID不能对应另一份业务事实。
        IF v_previous.order_id IS DISTINCT FROM p_order_id
           OR v_previous.sku IS DISTINCT FROM p_sku
           OR v_previous.quantity IS DISTINCT FROM p_quantity THEN
            RAISE EXCEPTION USING
                ERRCODE = '22023', MESSAGE = 'event payload mismatch';
        END IF;
        RETURN 'DUPLICATE:' || v_previous.outcome;
    END IF;

    -- 条件更新保护余额,不能先读库存再无条件覆盖。
    UPDATE inventory_demo.stock
    SET available = available - p_quantity
    WHERE sku = p_sku AND available >= p_quantity;
    IF FOUND THEN
        v_outcome := 'RESERVED';
    ELSE
        IF NOT EXISTS (
            SELECT 1 FROM inventory_demo.stock WHERE sku = p_sku
        ) THEN
            RAISE EXCEPTION USING
                ERRCODE = '22023', MESSAGE = 'unknown sku';
        END IF;
        v_outcome := 'REJECTED';
    END IF;

    UPDATE inventory_demo.inbox
    SET outcome = v_outcome
    WHERE consumer_name = 'inventory-reserve'
      AND event_id = p_event_id;

    -- 成功与库存不足都保存结果事件;函数不在事务内访问Broker。
    INSERT INTO inventory_demo.result_outbox
        (cause_event_id, event_type, payload)
    VALUES (
        p_event_id,
        CASE WHEN v_outcome = 'RESERVED'
             THEN 'StockReserved' ELSE 'StockReservationRejected' END,
        jsonb_build_object(
            'orderId', p_order_id, 'sku', p_sku,
            'quantity', p_quantity, 'outcome', v_outcome
        )
    );
    RETURN v_outcome;
END;
$$;

-- 自动提交使两次调用成为两个独立事务,模拟提交后丢失ACK。
SELECT inventory_demo.reserve(
    '00000000-0000-0000-0000-000000000001', 1001, 'SKU-1', 3
) AS first_result;

SELECT inventory_demo.reserve(
    '00000000-0000-0000-0000-000000000001', 1001, 'SKU-1', 3
) AS second_result;

SELECT s.available,
       (SELECT count(*) FROM inventory_demo.inbox) AS inbox_rows,
       (SELECT count(*) FROM inventory_demo.result_outbox) AS result_events
FROM inventory_demo.stock s
WHERE s.sku = 'SKU-1';

预期结果,省略建表提示:

text
 first_result
--------------
 RESERVED

 second_result
--------------------
 DUPLICATE:RESERVED

 available | inbox_rows | result_events
-----------+------------+---------------
         7 |          1 |             1

第二次投递既不再次扣减,也不再次生成结果事件。若事务中途失败,幂等占位也必须一起回滚;不能先单独提交“处理过了”,再去更新库存。

消息监听器必须在数据库提交确认成功之后发送 ACK,而不是看见函数返回 RESERVED 就提前确认。提交后 ACK 丢失造成的重投由幂等记录吸收;数据库提交与 ACK 之间仍然不是原子操作。ACK 发送失败不能反过来把已提交的业务标记为失败。([RabbitMQ][7])

按失败性质决定去向

不是所有失败都值得等待。库存不足是本例的终态业务拒绝;死锁和短暂断连才可能恢复。PostgreSQL 的 40001 表示序列化失败,40P01 表示死锁;重试时应重做完整事务,而非只重放最后一条 SQL。([PostgreSQL][9])

情况 本例处理方式
同一事件且业务字段相同 读取已有终态,不再次扣减,随后 ACK
库存不足 提交 REJECTED 与拒绝结果事件,随后 ACK,不自动等补货
死锁、序列化失败、短暂连接故障 回滚或按提交结果未知处理,延迟重试
非法载荷、未知商品、同 ID 不同业务字段 可靠隔离并报警,不循环扣减
重试预算耗尽 转入死信隔离,等待人工决策

“未知商品”被归为不可处理,是本实验假定商品库存必须预先建立的结果。若你的系统允许商品数据异步到达,应另设有期限的等待策略,不能照搬分类。

持久化退避与死信交接

本设计采用数据库重试任务表和死信隔离表。重试任务保存原始消息、消费者名、event_id、累计尝试次数、下次执行时间和错误类别,并以消费者名、事件 ID、目标尝试次数建立唯一约束,防止交接重投生成重复任务。

演示预算设为最多 5 轮应用处理,首次为第 1 轮;按持久化轮次计数,消息重投或进程重启不能重置预算。第 nn 次失败后,仅在 n<5n<5 时安排下一次,延迟从 0 到 min⁡(30,2n)\min(30,2^n) 秒均匀随机选择。这里增加随机性是为了分散同批失败的重试时刻;参数应根据恢复时间和业务时限调整。

以下为片段示例:调度伪代码,说明消息监听器与持久化调度组件的协作,不是可直接执行的框架 API。业务函数使用上一节的事务逻辑;调度表、隔离表及工作者需要在实际服务中实现。

text
读取消息;若契约校验失败:
    持久化死信隔离记录并提交;确认成功后ACK并结束
读取并核对持久化处理进度,首次处理轮次为1
若同一标识对应不同业务载荷:
    可靠隔离并报警;隔离提交成功后ACK并结束
若相同载荷的本轮消息已完成可靠交接:
    不重复执行该轮;ACK重复原消息并结束
尝试业务处理:
    在一个事务内处理幂等记录、库存和结果事件
    提交确认成功后ACK并结束
遇到不可处理的业务载荷错误:
    回滚业务事务,持久化死信隔离记录
    隔离事务提交确认成功后ACK并结束
遇到可重试故障:
    回滚尚未完成的业务事务
    若本轮编号小于5:
        持久化下一轮任务和本轮交接状态,保留原eventId
    否则:
        持久化死信隔离记录及耗尽状态
    交接事务提交确认成功后ACK原消息
任何提交结果不确定或无法可靠保存交接记录:
    不ACK,暂停消费并退避恢复,之后仍用原eventId处理

预期结果:重复投递不会重复改变库存;暂时故障不会在 ACK 后只留下进程内定时器。调度器到期发布原消息,收到发布确认后才完成任务;确认不确定时保留任务重试,目标消费者仍按原幂等键处理。

不要把直接重新入队当成退避:basic.nack 使用 requeue=true 时,消息可能立即再次投递,形成高频失败循环。数据库不可用时应停止继续拉取并控制恢复节奏,而不是一边无法保存重试任务、一边不断确认原消息。([RabbitMQ][5])

死信至少保存原始载荷、来源、事件标识、错误原因、累计次数和处理记录。若改用 RabbitMQ 的 DLX,要单独检查转发可靠性;默认死信转发并不自动获得发布确认保护,不能仅凭“配置了死信队列”就认为不会丢。([RabbitMQ][10])

用回滚实验检查确认时机

在主示例执行完、库存为 7 后,运行下面的事务。它使用另一条固定测试事件,刻意放弃本次提交;这也说明函数返回业务结果,不代表调用者已经提交事务。

sql
BEGIN;
SELECT inventory_demo.reserve(
    '00000000-0000-0000-0000-000000000002', 1002, 'SKU-1', 2
) AS provisional_result;
-- 模拟事务未完成,不能为这次调用发送成功ACK。
ROLLBACK;

-- 验证提交后的状态,而不是函数曾经返回的临时结果。
SELECT s.available,
       (SELECT count(*) FROM inventory_demo.inbox
        WHERE event_id = '00000000-0000-0000-0000-000000000002'
       ) AS committed_rows,
       (SELECT count(*) FROM inventory_demo.result_outbox
        WHERE cause_event_id = '00000000-0000-0000-0000-000000000002'
       ) AS result_events
FROM inventory_demo.stock s
WHERE s.sku = 'SKU-1';

预期结果,省略事务命令提示:

text
 provisional_result
--------------------
 RESERVED

 available | committed_rows | result_events
-----------+----------------+---------------
         7 |              0 |             0

生产验收还应覆盖提交后丢失 ACK、重试服务重启和预算耗尽:库存效果仍只发生一次,未到期任务仍可恢复,耗尽消息能够定位到隔离记录。回放原消息时保留事件 ID 和原载荷;需要更正业务事实时另发更正事件,不通过删除幂等记录强行重扣。

幂等记录及已完成调度记录的保留窗口,应覆盖消息保留、重试和人工回放可能造成的最迟到达时间。只有业务终态或可靠交接已经持久化,才有资格确认原消息。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

给库存消费增加幂等和重试

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通