CI/CD / 系统课时
设计自动回滚条件
设计自动回滚条件
自动回滚的核心不是“出现告警就撤”,而是把健康状态、错误率和关键业务指标写成可计算、可持续观察的发布门禁,让流水线能区分瞬时抖动与真实回归,并在影响扩大前停止发布或回退版本。
学习目标
- 能把健康状态、错误率和关键指标转换为明确的回滚条件
- 能通过观察窗口、最小样本量和连续失败次数降低误回滚概率
- 能在流水线中实现“继续、终止发布、回滚”三类动作
把回滚条件写成可计算的门禁
自动化规则必须同时说明观测对象、阈值、持续时间和动作。只写“错误率过高则回滚”无法执行,因为系统不知道多高算异常,也不知道一次尖峰是否足以触发。
| 信号 | 示例条件 | 典型动作 |
|---|---|---|
| 健康状态 | 新版本实例连续 2 个观察窗口不健康 | 立即停止扩容,回滚已接流量实例 |
| 错误率 | 5xx 比例连续 3 个窗口高于 2% | 终止发布并回滚 |
| 关键指标 | P99 延迟连续 3 个窗口高于 800 ms | 终止发布并回滚 |
| 业务指标 | 支付成功率低于预设下限 | 立即停止继续放量,进入回滚或人工确认 |
阈值最好同时参考发布前基线。绝对阈值用于保护硬性 SLO,基线差值用于发现“虽然没有越线,但新版本明显变差”的回归。

用观察窗口过滤瞬时抖动
回滚判定不应直接读取某一个瞬时采样值。部署刚开始时,缓存预热、连接建立和实例启动都可能让延迟短暂升高,因此通常先设置预热期,再要求达到最小请求量,然后才开始计算门禁。
一个实用规则是:硬故障快速回滚,性能退化连续确认。例如进程反复崩溃、健康检查持续失败可以快速触发;错误率或 P99 延迟则要求连续多个窗口越线。这样既缩短严重故障的暴露时间,也减少偶发网络抖动导致的误回滚。
在流水线中实现判定
下面的示例使用整数基点表示错误率:200 代表 2%。脚本在健康状态异常、错误率超阈值或 P99 超阈值时返回退出码 42,流水线可以把这个退出码映射为“停止发布并调用回滚作业”。
cat > rollback-gate.sh <<'EOF'
#!/usr/bin/env bash
set -euo pipefail
health="${HEALTH:-healthy}"
error_bp="${ERROR_BP:-0}"
p99_ms="${P99_MS:-0}"
max_error_bp="${MAX_ERROR_BP:-200}"
max_p99_ms="${MAX_P99_MS:-800}"
# 健康故障优先判定,避免已经失效的实例继续接流量。
if [[ "$health" != "healthy" ]]; then
echo "ROLLBACK reason=health health=$health"
exit 42
fi
# 错误率使用基点整数,避免 Shell 浮点比较带来的额外依赖。
if (( error_bp > max_error_bp )); then
echo "ROLLBACK reason=error_rate error_bp=$error_bp"
exit 42
fi
# 性能门禁独立于错误率,捕获“请求成功但明显变慢”的回归。
if (( p99_ms > max_p99_ms )); then
echo "ROLLBACK reason=p99 p99_ms=$p99_ms"
exit 42
fi
echo "CONTINUE health=$health error_bp=$error_bp p99_ms=$p99_ms"
EOF
chmod +x rollback-gate.sh
HEALTH=healthy ERROR_BP=350 P99_MS=620 ./rollback-gate.sh || true预期输出
ROLLBACK reason=error_rate error_bp=350示例中的 || true 仅用于演示时继续显示输出;真实流水线不要屏蔽退出码,否则后续步骤可能继续执行。真正部署时,脚本读取的应是观察窗口聚合后的指标,而不是单次请求值。
把“终止发布”和“回滚”分开
并非每次门禁失败都需要立刻执行同一种动作。若新版本尚未接入用户流量,最安全的动作通常只是终止发布;若已经有一部分实例承载流量,则应先停止继续放量,再把流量恢复到上一稳定版本。
回滚完成后还要验证旧版本的健康状态、错误率和关键指标已经恢复。只有“回滚动作成功”和“业务指标恢复”同时成立,才能把事件标记为已恢复;否则应升级为人工处置,而不是继续自动尝试发布。
适合进入自动回滚的条件
适合自动化的指标应当稳定、可快速采集、与当前发布高度相关,并且回滚动作本身是安全且可重复的。实例健康、5xx、请求延迟、核心接口成功率通常满足这些条件。
对于受外部依赖、流量结构或业务周期强烈影响的指标,应优先采用“停止放量并人工确认”,而不是直接自动回滚。自动回滚的目标是把确定性故障快速收敛,而不是让流水线替代所有发布判断。