大模型应用开发 / 系统课时

恢复失败任务

恢复失败任务

工作流失败后,真正需要解决的不是“再跑一次”,而是判断哪些步骤可以重试、哪些副作用必须补偿、应从哪里继续,以及无法自动恢复的任务如何进入失败队列等待人工处理。本课给出一套可落地的恢复顺序与最小实现。

学习目标

  • 区分重试、补偿、断点续跑和失败队列各自解决的问题
  • 为工作流保存可恢复的检查点,并避免重复执行已完成步骤
  • 按失败类型选择自动恢复或人工介入路径

先按失败性质选择恢复动作

失败恢复的第一步是分类,而不是立刻重跑。网络超时、限流和临时服务不可用通常属于瞬时失败,适合有限次数重试;参数非法、权限不足或业务规则拒绝属于确定性失败,继续重试通常只会重复失败。

如果步骤已经产生外部副作用,例如扣减库存、创建工单或发起支付,还要判断该副作用能否安全撤销。能撤销时准备补偿动作;不能撤销时,不应假装回滚成功,而应保存证据并转入人工处理。

恢复手段 适用问题 关键约束
重试 瞬时失败 必须限制次数,并配合退避
补偿 已产生可撤销副作用 补偿本身也要幂等
断点续跑 长流程中途失败 已完成步骤必须有持久化检查点
失败队列 自动恢复仍失败 保存任务 ID、失败步骤、错误和上下文

失败任务的恢复决策流程

用检查点保证断点续跑

检查点记录的是“最后一个已经确认完成的步骤”,而不是“最后一个开始执行的步骤”。只有步骤的结果和必要上下文已经持久化后,才能推进检查点。恢复时从下一个未完成步骤开始,避免重复调用已经成功的外部系统。

下面的示例实现一个最小工作流执行器:步骤成功后写入检查点;可重试异常使用有限重试;超过次数后进入失败队列;再次恢复时从检查点继续。补偿函数也被注册在步骤上,用于确定性失败时逆序撤销已完成副作用。

python
from dataclasses import dataclass, field
from typing import Callable

class RetryableError(Exception):
    pass

class PermanentError(Exception):
    pass

@dataclass
class Step:
    name: str
    run: Callable[[], None]
    compensate: Callable[[], None]

@dataclass
class WorkflowState:
    task_id: str
    checkpoint: int = -1
    completed: list[int] = field(default_factory=list)

failure_queue: list[dict] = []
attempts = {"charge": 0}
fixed = False

def reserve_inventory():
    print("reserve_inventory: ok")

def release_inventory():
    print("release_inventory: ok")

def charge():
    attempts["charge"] += 1
    if not fixed:
        raise RetryableError("payment gateway timeout")
    print("charge: ok")

def refund():
    print("refund: ok")

def send_receipt():
    print("send_receipt: ok")

def cancel_receipt():
    print("cancel_receipt: skipped")

steps = [
    Step("reserve_inventory", reserve_inventory, release_inventory),
    Step("charge", charge, refund),
    Step("send_receipt", send_receipt, cancel_receipt),
]

def run_workflow(state: WorkflowState, max_retries: int = 2) -> None:
    for index in range(state.checkpoint + 1, len(steps)):
        step = steps[index]
        for attempt in range(1, max_retries + 1):
            try:
                step.run()
                state.checkpoint = index
                state.completed.append(index)
                print(f"checkpoint={state.checkpoint}")
                break
            except RetryableError as exc:
                print(f"{step.name}: retry {attempt}/{max_retries}: {exc}")
        else:
            failure_queue.append({
                "task_id": state.task_id,
                "failed_step": step.name,
                "error": "retry_exhausted",
                "checkpoint": state.checkpoint,
            })
            return
        # 确定性失败应在这里捕获,并按 completed 的逆序调用 compensate。

state = WorkflowState(task_id="task-001")
run_workflow(state)

fixed = True
run_workflow(state)

print("failure_queue:", failure_queue)

预期输出

text
reserve_inventory: ok
checkpoint=0
charge: retry 1/2: payment gateway timeout
charge: retry 2/2: payment gateway timeout
charge: ok
checkpoint=1
send_receipt: ok
checkpoint=2
failure_queue: [{'task_id': 'task-001', 'failed_step': 'charge', 'error': 'retry_exhausted', 'checkpoint': 0}]

这里第二次调用 run_workflow 时,checkpoint=0,因此不会再次预留库存,而是从支付步骤继续。真实系统应把 WorkflowState 和失败队列写入数据库或持久化队列,不能只保存在进程内存中。

补偿不是数据库回滚

补偿用于撤销已经提交到外部系统的业务动作,例如“释放库存”补偿“预留库存”,“退款”补偿“扣款”。它无法获得数据库事务那样的原子性,因此每个补偿动作都应允许重复执行,并能识别“目标状态已经达成”。

执行补偿时通常按已完成步骤的逆序处理。例如流程完成了 A、B,在 C 发生不可重试错误,就先补偿 B,再补偿 A。若某个补偿失败,不要继续假设整体已经恢复,应记录补偿状态并进入失败队列等待后续处理。

失败队列要保存可恢复证据

失败队列不是错误日志的替代品,而是“待处理任务”的持久化入口。至少应保存任务标识、失败步骤、最近检查点、错误分类、重试次数以及恢复所需的业务上下文。敏感输入只保存必要字段,密钥和令牌不要直接写入队列。

恢复器从失败队列取出任务后,先确认根因已经解除,再依据检查点继续执行。只有工作流最终完成,或补偿后达到明确终态,才能把失败记录标记为已处理。这样恢复过程才是可追踪、可重复执行并且可以人工接管的。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

恢复失败任务

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通