架构与系统设计 / 系统课时
跨服务失败如何设计补偿
跨服务失败如何设计补偿
订单已创建、库存已预留,支付却失败时,无法用一个数据库回滚撤销所有服务的提交。本文把恢复过程拆成可记录、可重试、可核验的补偿动作,并用重复释放库存的实验验证补偿不会制造第二次错误。
学习目标
- 区分本地回滚、正向重试和跨服务业务补偿。
- 为结果未知、补偿重试和人工处理设计不同状态。
- 验证补偿动作的幂等性,并明确跨服务恢复需要保存哪些记录。
补偿恢复业务约束,不恢复旧快照
Saga 把长流程拆成多个服务各自提交的本地事务。后续步骤无法完成时,再执行新的本地事务,抵消之前成功步骤的业务影响;它不提供一个覆盖全部服务的原子回滚。([Microsoft Learn][6])
本课设定:订单已创建、库存已预留,支付渠道明确拒绝且不会再执行本次扣款。恢复目标是释放这次预留并取消订单。这里不需要退款;只有已经确认扣款,且后续流程必须撤销时,才需要关联原支付流水发起退款。
补偿不能把库存直接恢复成旧快照,否则会覆盖其他订单的合法修改。它应只撤销本次操作的影响,并保留原操作与补偿记录。补偿顺序由依赖和业务规则决定,未必严格逆序,也未必恢复到原先完全相同的状态。([Microsoft Learn][7])
先辨认失败,再推进流程状态
这里采用编排式 Saga:协调器保存流程进度、发送步骤命令,参与者报告各自已提交的结果。协调器不能只在内存中保存当前执行位置;重启后需要从持久化记录恢复。([AWS 文档][8])
建议按下面三类结果设计状态迁移,而不是捕获所有异常后立即取消订单。
| 观察到的结果 | 恢复方向 | 不能做什么 |
|---|---|---|
| 明确未执行、允许重试的临时错误 | 使用原操作键退避重试 | 每次重试换一个业务标识 |
| 明确且不可恢复的业务拒绝 | 补偿此前已成功的步骤 | 反复重试同一拒绝条件 |
| 响应超时、提交结果无法确认 | 进入 RECONCILING,核对结果 | 把超时直接当成未执行 |
超时后,用原操作标识查询参与者的结果;查不到记录时,还要考虑旧请求可能仍在途中。重试必须遵守参与者的幂等契约,不能另开一笔业务来“试试看”。([Amazon Web Services, Inc.][2])

本课约定只有库存释放、订单取消都被确认完成,才进入 COMPENSATED。某个补偿请求已发出,或消息进入死信队列,都不是完成证据。无法核实的结果进入人工处理状态,不能伪装成成功。
用一个本地事务保证重复释放不多加库存
以下完整脚本只验证库存服务的补偿动作,不是完整 Saga 引擎。使用带 sqlite3 的 Python 3.11 或更高版本直接运行。夹具设定可用库存为 8、本次预留为 2,释放后的目标为 10;<ID> 是本次预留记录的测试标识。([Python documentation][3])
import sqlite3
from contextlib import closing
def release(db: sqlite3.Connection, reservation_id: str) -> str:
# SQLite 用写事务串行化竞争;生产数据库需要对应的锁或条件更新。
db.execute("BEGIN IMMEDIATE")
try:
row = db.execute(
"SELECT sku, qty, state FROM reservation WHERE id = ?",
(reservation_id,),
).fetchone()
if row is None:
raise LookupError("NEEDS_RECONCILIATION")
sku, qty, state = row
if state == "RESERVED":
changed = db.execute(
"UPDATE reservation SET state = 'RELEASED' "
"WHERE id = ? AND state = 'RESERVED'",
(reservation_id,),
).rowcount
if changed != 1:
raise RuntimeError("STATE_CONFLICT")
# 只归还原预留数量,并与状态变化保持原子性。
changed = db.execute(
"UPDATE stock SET available = available + ? WHERE sku = ?",
(qty, sku),
).rowcount
if changed != 1:
raise RuntimeError("STOCK_MISSING")
elif state != "RELEASED":
raise ValueError("STATE_NOT_COMPENSABLE")
# 重复请求返回同一业务结果,不再次增加库存。
db.commit()
return "RELEASED"
except BaseException:
db.rollback()
raise
def main() -> None:
with closing(sqlite3.connect(":memory:", isolation_level=None)) as db:
db.executescript("""
PRAGMA foreign_keys = ON;
CREATE TABLE stock(
sku TEXT PRIMARY KEY,
available INTEGER NOT NULL CHECK(available >= 0));
CREATE TABLE reservation(
id TEXT PRIMARY KEY,
sku TEXT NOT NULL REFERENCES stock(sku),
qty INTEGER NOT NULL CHECK(qty > 0),
state TEXT NOT NULL
CHECK(state IN ('RESERVED', 'RELEASED', 'CONSUMED')));
INSERT INTO stock VALUES ('book', 8);
INSERT INTO reservation VALUES ('<ID>', 'book', 2, 'RESERVED');
""")
print("available_before=" + str(
db.execute("SELECT available FROM stock").fetchone()[0]))
print("first=" + release(db, "<ID>"))
print("replay=" + release(db, "<ID>"))
available = db.execute("SELECT available FROM stock").fetchone()[0]
print("available_after=" + str(available))
assert available == 10
if __name__ == "__main__":
main()预期输出:
available_before=8
first=RELEASED
replay=RELEASED
available_after=10第一次请求把预留从 RESERVED 改为 RELEASED,并归还原预留数量。第二次发现已经释放,返回同一业务结果,不再修改库存。状态变化和库存增加在同一本地事务中,不能拆成两个分别提交的操作。
代码遇到预留不存在或状态为 CONSUMED 时会报错,而不是擅自加库存。本例把 CONSUMED 定义为已出库:这种情况应走退货等专门流程。内存库方便反复实验,但不会跨进程保存数据,不能据此声称已经实现重启恢复。
把补偿进度与待发送命令一起保存
建议流程记录保存 saga_id、整体状态和版本;步骤记录保存正向结果、补偿结果、原业务流水号,以及 attempts、next_retry_at、last_error。重试读取未完成步骤,不从头重做已确认完成的动作。补偿自身也会失败,因此恢复进度必须可持久化、可续跑。([Microsoft Learn][7])
协调器进入补偿状态时,应在同一本地事务里写入待发送的补偿命令,也就是 Outbox。转发器负责重试投递;参与者保存业务修改和结果事件时,也要解决自己的状态与消息双写问题。每个原子边界都在单个服务内部,不是让服务共享一个大事务。([AWS 文档][9])
本例可用“流程标识、步骤、动作”组成稳定幂等键;重发不换键,同键也不允许改变目标或数量。参与者把去重结果与业务修改原子提交,重复请求返回可识别的既有结果,协调器收到重复结果也不能重复推进。([Amazon Web Services, Inc.][2])
并发推进时,建议用预期状态加版本条件更新记录。若要支持“取消先于正向请求到达”,参与者需按同一业务键保存取消标记;正向操作在修改资源的本地事务中检查该标记,并与取消操作互斥。本课代码没有实现这套跨服务取消协议,不能将“记录不存在”直接当作补偿成功。([Microsoft Learn][6])
用故障验收明确完成边界
为完整流程设计两组验收。第一组覆盖“补偿成功但响应丢失”和“修改预留状态后、归还库存前异常”:重试不能多加库存,本地事务失败后两个修改必须一起撤销。第二组覆盖协调器重启、重复结果、超时后迟到成功:应从持久状态继续处理,而不是重复扣款或覆盖已取消状态。
补偿遇到临时故障可退避重试;超过次数或处理时长预算后,转为 MANUAL_REQUIRED,保留失败原因、业务流水和恢复入口。人工处理也要通过受审计的命令或状态迁移完成,不能直接把记录改成“已补偿”来消除告警。([Microsoft Learn][7])
已发货、已发送通知等动作不能简单撤销。应提前定义退货、冲正或人工协商等业务出口,并尽量把不可逆动作放到关键验证之后;如果业务既不能容忍中间不一致,也没有有效补偿,就需要重新设计事务边界,而不是继续叠加重试。([Microsoft Learn][7])