服务注册与分布式协调 / 系统课时

完成上线与运行验收

完成上线与运行验收

上线验收要把“能部署”提升为“历史可重放、版本可回退、容量有余量、告警能触发、值守能处置”。最终产物不是一张勾选表,而是一组可以阻断发布、也能在运行期复用的客观门禁。

学习目标

  • 建立覆盖 Replay、Worker 发布、容量、告警和故障处置的上线验收门禁
  • 用最小运行检查确认 Worker 已就绪,并把动态容量数据与既有基线对比
  • 为回滚、告警升级和常见故障明确责任人与停止条件

把上线拆成连续门禁

可靠编排项目建议按“代码兼容 → Worker 发布 → 容量验证 → 可观测性 → 值守准备”顺序验收。前一个门禁未通过时不要继续扩大流量,因为后续数据会被前置问题污染。

Temporal 生产上线与运行验收门禁

先阻断不兼容的 Workflow 代码

只要线上还有旧 Workflow History,发布前就必须用当前代码做 Replay 检查。CI 中保留代表性历史,尤其是长期运行、走过补偿分支、发生过 Activity 重试和收到过取消或外部事件的历史。任何 nondeterminism 都应直接阻断发布,而不是寄希望于新 Worker 上线后再观察。

Worker 版本发布要保证旧版本仍有明确的接管范围和回退路径。使用当前 Temporal 集群支持的 Worker Versioning 或 Worker Deployment 机制时,先让新版本承接受控流量,确认没有新增 Workflow Task 失败、任务队列等待异常或错误率抬升,再扩大范围。不要在缺少版本路由和 Replay 证据时直接替换全部 Worker。

验证 Worker 就绪与基础容量

下面的命令适合放进部署后的运行检查。它不替代 Temporal 指标,但能先确认 Kubernetes 层的 Worker 已稳定运行,并给容量核对提供 CPU、内存和副本数基线。

bash
set -euo pipefail

# 确认发布完成,并核对就绪副本是否达到期望值
kubectl -n <K8S_NAMESPACE> rollout status deployment/<WORKER_DEPLOYMENT> --timeout=120s
kubectl -n <K8S_NAMESPACE> get deployment/<WORKER_DEPLOYMENT> -o jsonpath='readyReplicas={.status.readyReplicas} desiredReplicas={.spec.replicas}{"\n"}'
# 采集 Worker 即时资源占用,与同负载下的容量基线比较
kubectl -n <K8S_NAMESPACE> top pods -l app=<WORKER_LABEL>

预期输出

text
deployment "<WORKER_DEPLOYMENT>" successfully rolled out
readyReplicas=<N> desiredReplicas=<N>
NAME                 CPU(cores)   MEMORY(bytes)
<WORKER_POD>         <CPU>        <MEMORY>

CPU、内存、副本数和 Pod 名称会随环境变化;kubectl top 还依赖集群已提供 Metrics API。这里的通过条件不是固定阈值,而是“与同等负载下的已知基线相比没有异常抬升,并且在预估峰值下仍有明确余量”。容量验收还应同时观察 Workflow Task 与 Activity Task 的 schedule-to-start 延迟、任务队列积压、Worker slot 使用情况以及下游限流。

把告警与运行手册一起验收

告警必须能回答“谁需要处理、多久内处理、处理到什么状态”。至少覆盖 Workflow Task 持续失败、Activity 失败或重试异常、任务队列等待升高、Worker 不可用、下游错误率上升和 Saga 补偿失败。告警阈值应来自容量基线和业务 SLO,而不是直接照搬默认值。

运行手册则要把高频故障写成可执行路径:先看哪些指标,再查哪类 History 或日志,什么条件下允许重试、取消、补偿或回滚 Worker,什么条件下必须停止扩量。对“强行终止 Workflow”“手工修改业务状态”这类高风险操作,应明确审批和证据留存要求。

验收项 通过标准 阻断条件
Replay 代表性历史在当前代码上无 nondeterminism 任一历史无法确定性重放
Worker 发布 新版本受控接流且可回退 Workflow Task 失败或等待显著恶化
容量 峰值负载下仍有可解释余量 队列积压持续增长或资源打满
告警 关键故障能触发并路由到负责人 告警缺失、噪声过高或无人接手
Runbook 常见故障有定位、止损、恢复和回滚步骤 关键操作依赖个人经验

用一次完整演练做最终签字

正式验收前再跑一次端到端演练:启动真实业务流程,发布新 Worker,小幅扩大流量,注入一个可恢复故障,确认告警触发、值守人员按 Runbook 处理、Workflow 最终收敛,并验证回滚路径仍可用。只有当 Replay、版本、容量、告警和处置证据都能被复查时,这套编排才具备上线后长期运行的基本条件。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

完成上线与运行验收

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通