架构与系统设计 / 系统课时
用对账任务修复最终不一致
用对账任务修复最终不一致
秒杀链路即使使用本地事务、消息重试和幂等,仍可能留下跨系统状态偏差。本篇给出一套可落地的对账任务:按业务键扫描稳定时间窗,识别异常,再用幂等修复、人工复核和审计记录把系统拉回最终一致。
学习目标
- 用统一业务键比对库存、订单、支付和消息状态
- 识别未落单、重复回补、支付后未更新和消息未发布
- 设计可重跑的自动修复、人工复核与审计闭环
先确定对账基准
对账不是比较“几张表的行数是否相等”,而是围绕同一个业务键检查状态组合。秒杀场景通常以 order_no 为主键,再关联 sku_id、支付单号和消息聚合键。只有这样,任务才能回答“某一笔业务到底缺了哪一步”。
实时请求刚结束时,各系统可能仍在合法重试,因此不要扫描最新数据。常见做法是设置稳定等待期,例如只对账“35 分钟前到 5 分钟前”的记录;最近 5 分钟留给正常异步链路收敛,过老数据则由历史批次负责。

用 SQL 找出异常组合
片段示例:以下以 MySQL 8 为例,假设已有 orders、payments、stock_ledger、outbox_events 四张业务表,并且时间字段使用同一时区。查询只扫描稳定时间窗,把四类异常统一输出为 anomaly_type + business_key,便于后续修复器消费。
WITH stock_without_order AS (
SELECT 'STOCK_DEDUCTED_ORDER_MISSING' AS anomaly_type, s.order_no
FROM stock_ledger s
LEFT JOIN orders o ON o.order_no = s.order_no
WHERE s.biz_type = 'DEDUCT'
AND s.created_at >= CURRENT_TIMESTAMP - INTERVAL 35 MINUTE
AND s.created_at < CURRENT_TIMESTAMP - INTERVAL 5 MINUTE
AND o.order_no IS NULL
GROUP BY s.order_no
),
duplicate_restock AS (
SELECT 'DUPLICATE_RESTOCK' AS anomaly_type, order_no
FROM stock_ledger
WHERE biz_type = 'RESTOCK'
AND created_at >= CURRENT_TIMESTAMP - INTERVAL 35 MINUTE
AND created_at < CURRENT_TIMESTAMP - INTERVAL 5 MINUTE
GROUP BY order_no
HAVING COUNT(*) > 1
),
paid_order_stale AS (
SELECT 'PAYMENT_SUCCEEDED_ORDER_STALE' AS anomaly_type, p.order_no
FROM payments p
JOIN orders o ON o.order_no = p.order_no
WHERE p.status = 'SUCCEEDED'
AND o.status <> 'PAID'
AND p.updated_at >= CURRENT_TIMESTAMP - INTERVAL 35 MINUTE
AND p.updated_at < CURRENT_TIMESTAMP - INTERVAL 5 MINUTE
),
event_not_published AS (
SELECT 'EVENT_NOT_PUBLISHED' AS anomaly_type, aggregate_id AS order_no
FROM outbox_events
WHERE publish_status IN ('NEW', 'FAILED')
AND created_at >= CURRENT_TIMESTAMP - INTERVAL 35 MINUTE
AND created_at < CURRENT_TIMESTAMP - INTERVAL 5 MINUTE
)
SELECT anomaly_type, order_no AS business_key FROM stock_without_order
UNION ALL
SELECT anomaly_type, order_no FROM duplicate_restock
UNION ALL
SELECT anomaly_type, order_no FROM paid_order_stale
UNION ALL
SELECT anomaly_type, order_no FROM event_not_published
ORDER BY anomaly_type, business_key;预期结果
实际返回 0 到多行,每行包含 anomaly_type 和 business_key。
anomaly_type 为查询定义的四类异常之一,business_key 为实际业务键 <ID>。<ID> 会随实际业务数据变化。如果业务允许一张订单存在多次合法的部分回补,不能简单用 COUNT(*) > 1 判重,而应改用库存动作的幂等键或业务版本判断。生产表还应为时间窗口和关联键准备索引,例如订单以 order_no 为主键,流水侧让类型、时间和业务键能够被有效过滤,避免对账本身成为扫描压力。
把异常分成自动修复与人工复核
自动修复只适合“事实明确且补偿动作可幂等”的情况。支付已成功而订单仍停在待支付,可以在校验金额和订单归属后执行条件更新;Outbox 消息未发布,则重试原事件,而不是重新创建一条业务事实。
| 异常 | 默认处理 | 必须转人工的条件 |
|---|---|---|
| 库存已扣但订单缺失 | 无成功支付时按原业务键执行幂等回补 | 已存在成功支付、业务键冲突 |
| 重复库存回补 | 冻结自动动作并告警 | 默认人工复核,避免再次扣减造成超卖 |
| 支付成功但订单未更新 | 校验金额后条件更新订单,并补发必要事件 | 金额不一致、订单已终态 |
| 消息未发布 | 重试原 Outbox 事件 | 事件负载损坏、下游语义无法确认 |
修复器必须有独立的 repair_key,例如由“异常类型 + 业务键 + 业务版本”组成,并对它建立唯一约束。这样同一异常被多次扫描、任务重跑或多个实例并发处理时,只会产生一次有效修复。
让每次修复都能追溯
对账表至少记录 business_key、异常类型、发现时间、修复前快照、执行动作、修复后快照、执行者和结果。自动修复失败不能直接改成“已处理”,而应保留失败原因并进入下一次重试或人工队列。
验收时不要只看“异常数下降到 0”。更重要的是验证三件事:同一批次可安全重跑;修复动作重复执行不会继续改变正确数据;任何人工调整都能从审计记录还原原因和前后状态。做到这三点,对账任务才是最终一致性的最后一道安全网,而不是另一套不可控的补偿逻辑。