架构与系统设计 / 系统课时
排查库存与订单状态不一致
排查库存与订单状态不一致
库存扣减成功但订单不存在、订单成功却库存被回补,这类问题不能只盯一张表。排查要从同一个业务键出发,把 Redis 扣减、Kafka 事件、订单记录和补偿事件按时间串起来,再根据缺失、重复或乱序的位置选择修复路径。
学习目标
- 用业务键串联库存、消息、订单与补偿证据,快速判断异常发生在哪一段
- 区分消息丢失、重复消费、状态竞争和人工操作四类常见根因
- 选择可重放、可补偿或需人工确认的修复方式,并避免二次破坏
先锁定唯一业务键
优先使用不会变化、能贯穿整条链路的键,例如 request_id、reservation_id 或订单创建前生成的 biz_key。不要先按用户 ID 或商品 ID 模糊搜索,因为秒杀期间同一用户、同一 SKU 可能存在多次尝试,容易把不同事务拼成一条假链路。
需要收集的证据只有四类:Redis 中该业务键对应的扣减或预占记录、Kafka 中携带该键的业务事件、MySQL 订单行及其状态版本、补偿或回补事件。每条证据都要带时间、事件类型和幂等键。

用同一个键收集四段证据
下面脚本按 BIZ_KEY 查询 Redis、Kafka 和 MySQL。它假设 Redis 使用 reservation:<biz_key> 保存预占记录,Kafka 主题为 order-events,订单表包含 biz_key 字段;请按你的实际命名替换资源名,而不要改变“同键串联”的方法。
export BIZ_KEY="<ID>"
printf "=== Redis ===\n"
redis-cli -h "$REDIS_HOST" HGETALL "reservation:$BIZ_KEY"
printf "=== Kafka ===\n"
kafka-console-consumer.sh --bootstrap-server "$KAFKA_BROKERS" --topic order-events --from-beginning --property print.key=true --timeout-ms 5000 2>/dev/null | grep "$BIZ_KEY" || true
printf "=== MySQL ===\n"
mysql -h "$MYSQL_HOST" -u "$MYSQL_USER" flashsale -e "SELECT biz_key, order_id, status, version, updated_at FROM orders WHERE biz_key='$BIZ_KEY';"预期输出
=== Redis ===
<REDIS_FIELDS_OR_EMPTY>
=== Kafka ===
<KAFKA_EVENTS_OR_EMPTY>
=== MySQL ===
biz_key order_id status version updated_at
<ROW_OR_EMPTY><REDIS_FIELDS_OR_EMPTY>、<KAFKA_EVENTS_OR_EMPTY> 和 <ROW_OR_EMPTY> 表示对应系统可能查到记录,也可能为空。排查重点不是输出长什么样,而是同一个 <ID> 在四个位置是否存在、出现几次、时间先后是否合理。
根据证据缺口判断根因
如果 Redis 已扣减,但 Kafka 完全找不到对应事件,优先检查发送失败、事务消息未提交或消息被错误路由;不要直接补订单,因为你还没有证明下游应该创建订单。若 Kafka 有事件而 MySQL 无订单,则继续看消费者错误日志、死信队列和幂等表,判断是消费失败还是写库失败。
若 Kafka 中同一个幂等键出现多次,而订单只有一条,说明幂等保护可能工作正常;若同时出现多条订单或多次库存扣减,则是去重边界失效。修复重点不是“删掉多余数据”本身,而是先确认幂等键在哪一层丢失。
状态竞争通常表现为时间线合法但最终状态错误,例如支付成功事件已经到达,随后一个较晚执行的“超时取消”又把订单改回取消。此时应检查状态机约束、版本号或条件更新,而不是重放所有消息。
人工操作要单独识别。若订单或库存审计日志里出现 admin、manual、工单号等来源,先冻结自动补偿,确认操作目的和时间,再决定是否回滚。否则自动修复可能把人工处置再次覆盖。
用条件更新阻止状态竞争
订单状态更新至少要带当前状态或版本条件。下面示例只允许版本为 7、状态仍为 PENDING 的订单进入 PAID,避免旧事件覆盖新状态。
UPDATE orders
SET status = 'PAID',
version = version + 1,
updated_at = CURRENT_TIMESTAMP
WHERE biz_key = '<ID>'
AND status = 'PENDING'
AND version = 7;
SELECT ROW_COUNT() AS affected_rows;预期输出
affected_rows
1若返回 0,不要强制重试同一条更新。它表示当前状态或版本已经变化,应重新读取订单并判断该事件是过期、重复,还是需要进入人工复核。
选择修复路径并完成验收
消息丢失且业务事实明确时,可以按原幂等键重发事件,让正常消费者重新执行;重复消费时先修复幂等约束,再清理重复结果;状态竞争应补上条件更新或状态机校验,再针对受影响订单做定向纠正;人工操作导致的不一致,则必须先确认操作意图。
库存回补同样必须幂等。补偿事件需要自己的唯一键,并记录“为什么补、补了多少、对应哪个原始扣减”。不要用“当前库存加一”这种无业务关联的脚本直接修正,否则重复执行会制造新的超卖空间。
修复后再次用同一个业务键查询四段证据。验收条件是:Redis 预占与最终库存动作能解释订单结果;Kafka 事件数量与幂等策略一致;MySQL 只保留一个合法最终状态;补偿事件存在时能指向对应原始扣减,且不会重复生效。
如果最终数据看似一致,却无法解释每一次状态变化来自哪条事件,就还没有真正完成排查。可追溯的业务键、事件时间和幂等记录,才是下一次自动化对账与故障修复的基础。