架构与系统设计 / 系统课时

处理失败回补与重复回补

处理失败回补与重复回补

库存已经扣减后,订单创建失败或超时取消,系统必须把库存加回来;真正难点不是“加一”,而是让同一回补动作被重复投递、重复消费时仍只生效一次,并在持续失败时能重试、告警和人工校正。

学习目标

  • 为库存回补定义稳定的业务幂等键,而不是依赖每次投递生成的消息 ID。
  • 用唯一约束和数据库事务保证重复消息不会重复增加库存。
  • 设计可重试、可告警、可人工校正的失败闭环。

把回补建成独立业务动作

库存扣减成功后,应给这次扣减分配一个稳定的 deductId。订单创建失败、支付超时取消等上游原因只负责触发“撤销这次扣减”,回补的业务幂等键可以固定为 inventory-deduct:<ID>:rollback。无论同一个取消信号被投递多少次,这个键都不变。

不要直接把 Kafka 的 eventId 当成唯一业务键:两个服务可能因为同一个订单失败分别生成不同消息 ID,却表达同一次库存回补。回补事件至少应携带 compensationKey、orderId、skuId、qty、cause,消费者以 compensationKey 判断这次业务动作是否已经完成。

库存回补的幂等、重试与人工校正流程

用唯一键把加库存收进一个事务

下面用 MySQL 8.0 演示最小做法:回补记录表以 compensation_key 为主键,只有第一次插入成功的事务才执行库存加回。第二次调用使用同一个键时,插入变成无变化更新,ROW_COUNT() 为 0,因此不会再次增加库存。

sql
DROP TABLE IF EXISTS inventory_compensation;
DROP TABLE IF EXISTS flash_stock;

CREATE TABLE flash_stock (
    sku_id BIGINT PRIMARY KEY,
    stock INT NOT NULL
);

CREATE TABLE inventory_compensation (
    compensation_key VARCHAR(128) PRIMARY KEY,
    order_id BIGINT NOT NULL,
    sku_id BIGINT NOT NULL,
    qty INT NOT NULL,
    created_at TIMESTAMP NOT NULL DEFAULT CURRENT_TIMESTAMP
);

INSERT INTO flash_stock (sku_id, stock) VALUES (1001, 9);

DELIMITER //
CREATE PROCEDURE compensate_stock(
    IN p_key VARCHAR(128),
    IN p_order_id BIGINT,
    IN p_sku_id BIGINT,
    IN p_qty INT
)
BEGIN
    DECLARE inserted_rows INT DEFAULT 0;

    DECLARE EXIT HANDLER FOR SQLEXCEPTION
    BEGIN
        ROLLBACK;
        RESIGNAL;
    END;

    START TRANSACTION;

    INSERT INTO inventory_compensation (
        compensation_key, order_id, sku_id, qty
    ) VALUES (
        p_key, p_order_id, p_sku_id, p_qty
    )
    ON DUPLICATE KEY UPDATE compensation_key = compensation_key;

    SET inserted_rows = ROW_COUNT();

    IF inserted_rows = 1 THEN
        UPDATE flash_stock
        SET stock = stock + p_qty
        WHERE sku_id = p_sku_id;

        IF ROW_COUNT() <> 1 THEN
            SIGNAL SQLSTATE '45000' SET MESSAGE_TEXT = 'sku not found';
        END IF;
    END IF;

    COMMIT;
END//
DELIMITER ;

CALL compensate_stock('inventory-deduct:90001:rollback', 70001, 1001, 1);
CALL compensate_stock('inventory-deduct:90001:rollback', 70001, 1001, 1);

SELECT
    stock,
    (SELECT COUNT(*)
     FROM inventory_compensation
     WHERE compensation_key = 'inventory-deduct:90001:rollback') AS compensation_rows
FROM flash_stock
WHERE sku_id = 1001;

预期输出

text
+-------+-------------------+
| stock | compensation_rows |
+-------+-------------------+
|    10 |                 1 |
+-------+-------------------+

初始库存是 9,同一回补调用两次后只增加到 10,并且只有一条回补记录。生产实现还应保存事件载荷摘要;如果相同 compensationKey 却出现不同 skuId 或 qty,应判定为冲突并告警,而不是把它当作普通重复消息静默忽略。

让重试只重放同一个动作

数据库超时、网络闪断等可恢复错误可以重试,但重试必须复用原来的 compensationKey。如果每次重试都生成新键,幂等约束就失效,库存会被重复加回。消费者只有在“库存更新与回补记录事务提交成功”后才能确认消息,否则应让消息重新投递。

对于参数非法、找不到原扣减记录、同一幂等键对应不同载荷等永久性错误,不应无限重试。更稳妥的策略是有限次数退避重试,超过阈值后进入待处理队列并记录订单号、扣减号、错误类型和最后一次失败原因。

给人工校正留下可审计入口

人工处理不应直接执行裸 UPDATE stock = stock + ...。后台校正入口应先查询扣减记录与回补记录,再以工单号生成唯一的人工调整记录;这样自动回补后来恢复时,系统仍能判断这笔库存是否已经被补偿,避免“机器补一次、人工再补一次”。

最终要能从同一条证据链回答三个问题:这笔库存因哪次扣减而减少、是否已经回补、若未回补当前卡在哪一步。只要自动重试和人工校正都围绕稳定幂等键与可审计流水执行,重复消息就不会演变成重复加库存。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

处理失败回补与重复回补

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通