架构与系统设计 / 系统课时

用对账任务修复最终不一致

用对账任务修复最终不一致

秒杀链路即使使用本地事务、消息重试和幂等,仍可能留下跨系统状态偏差。本篇给出一套可落地的对账任务:按业务键扫描稳定时间窗,识别异常,再用幂等修复、人工复核和审计记录把系统拉回最终一致。

学习目标

  • 用统一业务键比对库存、订单、支付和消息状态
  • 识别未落单、重复回补、支付后未更新和消息未发布
  • 设计可重跑的自动修复、人工复核与审计闭环

先确定对账基准

对账不是比较“几张表的行数是否相等”,而是围绕同一个业务键检查状态组合。秒杀场景通常以 order_no 为主键,再关联 sku_id、支付单号和消息聚合键。只有这样,任务才能回答“某一笔业务到底缺了哪一步”。

实时请求刚结束时,各系统可能仍在合法重试,因此不要扫描最新数据。常见做法是设置稳定等待期,例如只对账“35 分钟前到 5 分钟前”的记录;最近 5 分钟留给正常异步链路收敛,过老数据则由历史批次负责。

库存、订单、支付与消息的对账闭环

用 SQL 找出异常组合

片段示例:以下以 MySQL 8 为例,假设已有 orders、payments、stock_ledger、outbox_events 四张业务表,并且时间字段使用同一时区。查询只扫描稳定时间窗,把四类异常统一输出为 anomaly_type + business_key,便于后续修复器消费。

sql
WITH stock_without_order AS (
    SELECT 'STOCK_DEDUCTED_ORDER_MISSING' AS anomaly_type, s.order_no
    FROM stock_ledger s
    LEFT JOIN orders o ON o.order_no = s.order_no
    WHERE s.biz_type = 'DEDUCT'
      AND s.created_at >= CURRENT_TIMESTAMP - INTERVAL 35 MINUTE
      AND s.created_at < CURRENT_TIMESTAMP - INTERVAL 5 MINUTE
      AND o.order_no IS NULL
    GROUP BY s.order_no
),
duplicate_restock AS (
    SELECT 'DUPLICATE_RESTOCK' AS anomaly_type, order_no
    FROM stock_ledger
    WHERE biz_type = 'RESTOCK'
      AND created_at >= CURRENT_TIMESTAMP - INTERVAL 35 MINUTE
      AND created_at < CURRENT_TIMESTAMP - INTERVAL 5 MINUTE
    GROUP BY order_no
    HAVING COUNT(*) > 1
),
paid_order_stale AS (
    SELECT 'PAYMENT_SUCCEEDED_ORDER_STALE' AS anomaly_type, p.order_no
    FROM payments p
    JOIN orders o ON o.order_no = p.order_no
    WHERE p.status = 'SUCCEEDED'
      AND o.status <> 'PAID'
      AND p.updated_at >= CURRENT_TIMESTAMP - INTERVAL 35 MINUTE
      AND p.updated_at < CURRENT_TIMESTAMP - INTERVAL 5 MINUTE
),
event_not_published AS (
    SELECT 'EVENT_NOT_PUBLISHED' AS anomaly_type, aggregate_id AS order_no
    FROM outbox_events
    WHERE publish_status IN ('NEW', 'FAILED')
      AND created_at >= CURRENT_TIMESTAMP - INTERVAL 35 MINUTE
      AND created_at < CURRENT_TIMESTAMP - INTERVAL 5 MINUTE
)
SELECT anomaly_type, order_no AS business_key FROM stock_without_order
UNION ALL
SELECT anomaly_type, order_no FROM duplicate_restock
UNION ALL
SELECT anomaly_type, order_no FROM paid_order_stale
UNION ALL
SELECT anomaly_type, order_no FROM event_not_published
ORDER BY anomaly_type, business_key;

预期结果

text
实际返回 0 到多行,每行包含 anomaly_type 和 business_key。
anomaly_type 为查询定义的四类异常之一,business_key 为实际业务键 <ID>。

<ID> 会随实际业务数据变化。如果业务允许一张订单存在多次合法的部分回补,不能简单用 COUNT(*) > 1 判重,而应改用库存动作的幂等键或业务版本判断。生产表还应为时间窗口和关联键准备索引,例如订单以 order_no 为主键,流水侧让类型、时间和业务键能够被有效过滤,避免对账本身成为扫描压力。

把异常分成自动修复与人工复核

自动修复只适合“事实明确且补偿动作可幂等”的情况。支付已成功而订单仍停在待支付,可以在校验金额和订单归属后执行条件更新;Outbox 消息未发布,则重试原事件,而不是重新创建一条业务事实。

异常 默认处理 必须转人工的条件
库存已扣但订单缺失 无成功支付时按原业务键执行幂等回补 已存在成功支付、业务键冲突
重复库存回补 冻结自动动作并告警 默认人工复核,避免再次扣减造成超卖
支付成功但订单未更新 校验金额后条件更新订单,并补发必要事件 金额不一致、订单已终态
消息未发布 重试原 Outbox 事件 事件负载损坏、下游语义无法确认

修复器必须有独立的 repair_key,例如由“异常类型 + 业务键 + 业务版本”组成,并对它建立唯一约束。这样同一异常被多次扫描、任务重跑或多个实例并发处理时,只会产生一次有效修复。

让每次修复都能追溯

对账表至少记录 business_key、异常类型、发现时间、修复前快照、执行动作、修复后快照、执行者和结果。自动修复失败不能直接改成“已处理”,而应保留失败原因并进入下一次重试或人工队列。

验收时不要只看“异常数下降到 0”。更重要的是验证三件事:同一批次可安全重跑;修复动作重复执行不会继续改变正确数据;任何人工调整都能从审计记录还原原因和前后状态。做到这三点,对账任务才是最终一致性的最后一道安全网,而不是另一套不可控的补偿逻辑。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

用对账任务修复最终不一致

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通