服务注册与分布式协调 / 系统课时

注入故障并验证恢复能力

注入故障并验证恢复能力

这一步不是证明“系统能重试”,而是验证真实故障发生后,Workflow 能从历史恢复、Activity 能按策略重试,重复输入不会推进两次状态,已经完成的副作用还能通过补偿最终收敛。

学习目标

  • 为 Worker 重启、下游超时、重复回调、取消和部分失败定义可验证的恢复条件
  • 按固定顺序注入故障,并从 Workflow、Activity 与业务状态三个层面采集证据
  • 判断重试、Replay 或 Saga 补偿是否真正收敛,而不是暂时“看起来恢复”

先写清楚什么叫恢复成功

故障演练前先定义不变量,否则很容易把“Worker 又运行了”误判成恢复成功。可靠编排至少要同时满足:Workflow 最终进入预期终态;不可逆业务动作没有重复执行;Activity 的重试次数符合策略;补偿只针对已完成步骤执行,并且补偿本身可以安全重试。

故障 预期系统行为 验收证据
Worker 重启 新 Worker 通过历史 Replay 恢复 Workflow 状态 Workflow 继续推进,外部副作用没有重复
下游超时 Activity 按 Retry Policy 重试 尝试次数增加,Workflow 不需要手写轮询重试
重复回调 相同业务事件只生效一次 状态机只推进一次,重复事件被幂等键拦截
取消 Workflow 按取消语义停止或先补偿再停止 终态、补偿记录和 Activity 取消行为一致
部分步骤失败 已完成步骤按 Saga 规则补偿 最终业务状态回到允许的稳定状态

故障注入到最终收敛的验证闭环

先验证 Worker 重启不会破坏执行

在预发布环境选一条正在等待或处理中间 Activity 的长流程,记录 Workflow ID,再重启 Worker Deployment。不要重启 Temporal Server,也不要删除 Workflow;目标是迫使新 Worker 接手后通过历史重放恢复执行。

bash
set -euo pipefail

# 重启整个 Worker Deployment,验证新进程能接手已有执行
kubectl -n <K8S_NAMESPACE> rollout restart deployment/<WORKER_DEPLOYMENT>
kubectl -n <K8S_NAMESPACE> rollout status deployment/<WORKER_DEPLOYMENT> --timeout=120s
# 等待副本就绪后确认负责该任务队列的 Worker Pod 已恢复
kubectl -n <K8S_NAMESPACE> get pods -l app=<WORKER_LABEL>

预期输出

text
deployment.apps/<WORKER_DEPLOYMENT> restarted
deployment "<WORKER_DEPLOYMENT>" successfully rolled out
NAME                         READY   STATUS    RESTARTS   AGE
<WORKER_POD>                 1/1     Running   0          <TIME>

实际 Pod 名称和时间会不同。Worker 恢复后继续观察同一 Workflow:如果出现 nondeterminism、Workflow Task 持续失败,说明代码变更与历史不兼容;如果业务动作被再次执行,问题通常不在 Replay 本身,而在 Activity 或下游接口缺少幂等保护。

再按业务边界注入超时、重复与取消

下游超时应在可控的测试依赖、故障代理或预发布环境中注入。若验证客户端请求超时,让客户端超时短于 Activity 的 Start-To-Close;若验证 Temporal 的 Activity Timeout,则让故障持续超过对应 Timeout。不要在 Workflow 代码中用普通 sleep 加 while 循环模拟 Activity 重试,那会绕开 Temporal 的重试语义。

重复回调要使用稳定的业务幂等键,例如 paymentCallbackId 或订单事件 ID。回调进入 Workflow 后,先判断该键是否已经处理;即使调用方因为网络超时重复发送,也只能产生一次业务状态迁移。取消演练则要明确“立即停止”还是“先补偿再停止”,并检查长时间 Activity 是否通过 heartbeat 或取消检查及时响应;若取消后仍需执行补偿,应使用所用 SDK 提供的独立于已取消 Workflow Context 的补偿执行方式。

对于部分步骤失败,至少准备一个“前两步成功、第三步失败”的用例。补偿顺序应与副作用依赖一致,常见做法是逆序补偿;每个补偿 Activity 同样要幂等,因为补偿自身也可能超时并被重试。

用证据判断是否真正收敛

每个故障用例都要保留三组证据:Temporal 侧记录 Workflow 终态、Activity 尝试次数和失败原因;Worker 日志记录重启后的接管与异常;业务侧记录订单、库存、支付或通知等最终状态。只有三组证据相互一致,才算恢复能力通过。

Replay 的验收重点不是“日志里出现了 Replay”,而是同一历史在当前 Workflow 代码上可以确定性重放,并且重放不会再次执行已经记录过的外部副作用。上线前还应把本次演练得到的失败历史加入 Replay 回归集,后续每次修改 Workflow 代码都重新验证这些历史。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

注入故障并验证恢复能力

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通