CI/CD / 系统课时
模拟部署失败并执行回滚
模拟部署失败并执行回滚
生产流水线不能只证明部署成功,还要证明部署失败时能够停止放量、传播失败状态,并恢复到已验证的上一版本。本节用可控的健康检查失败模拟一次发布事故,把部署、检查、回滚和通知串成可验证的闭环。
学习目标
- 制造可重复的健康检查失败,并让 Jenkins 正确判定部署失败
- 在失败路径中自动恢复上一版本,并再次验证服务健康状态
- 区分部署失败、回滚失败和通知失败,避免错误被后续步骤掩盖
设计可控的失败场景
不要通过随机杀进程或破坏生产数据测试回滚。更安全的做法是部署一个明确会使健康检查失败的候选版本,例如在测试环境让 /health 返回非 2xx 状态。流水线需要保存当前稳定版本 STABLE_VERSION,然后尝试发布 CANDIDATE_VERSION。
一次可靠的失败链路应是:部署候选版本 → 健康检查失败 → 阶段失败 → 执行回滚 → 部署稳定版本 → 再次健康检查 → 记录最终状态并通知。这里同时涉及多个状态和分支,用流程图比连续文字更容易核对。

在流水线中执行失败与回滚
下面使用 Declarative Pipeline 演示核心控制逻辑。示例假定 deploy.sh 接收版本号并完成目标环境部署,HEALTH_URL 指向目标环境健康检查地址。retry 用于容忍应用启动期间的短暂不可用,而不是掩盖持续故障。
pipeline {
agent any
environment {
STABLE_VERSION = '1.4.2'
CANDIDATE_VERSION = '1.5.0-broken'
HEALTH_URL = 'https://staging.example.com/health'
}
stages {
stage('Deploy candidate') {
steps {
sh './deploy.sh "$CANDIDATE_VERSION"'
}
}
stage('Verify candidate') {
steps {
retry(3) {
sh 'curl --fail --silent --show-error "$HEALTH_URL"'
}
}
}
}
post {
failure {
script {
echo "Candidate failed; rolling back to ${STABLE_VERSION}"
sh './deploy.sh "$STABLE_VERSION"'
retry(3) {
sh 'curl --fail --silent --show-error "$HEALTH_URL"'
}
}
}
}
}预期结果:当候选版本持续返回 HTTP 4xx/5xx 或无法连接时,curl --fail 返回非零退出码;三次检查均失败后构建进入失败路径,并部署 1.4.2。回滚后的健康检查成功时,流水线仍保留本次候选版本发布失败这一事实。控制台中的具体时间和执行节点会因环境不同而变化。
ERROR: script returned exit code <ID>
Candidate failed; rolling back to 1.4.2
Finished: FAILURE验证失败传播与恢复结果
仅看到回滚命令执行过并不能证明恢复成功。回滚后至少重新检查服务健康状态,并确认运行版本确实回到了稳定版本。如果应用提供版本端点,可以在测试环境执行独立验证。
curl --fail --silent --show-error https://staging.example.com/health
curl --fail --silent --show-error https://staging.example.com/version预期输出取决于应用接口定义。健康接口应返回成功状态,版本接口应显示稳定版本;例如测试服务约定返回纯文本时,可以得到:
OK
1.4.2如果健康检查恢复但版本仍是候选版本,说明回滚操作并未真正切换制品;如果版本正确而健康检查仍失败,则应把问题视为回滚失败继续告警,而不是宣布恢复成功。
让通知表达真实状态
通知应携带构建地址、失败阶段、候选版本、回滚目标版本和回滚结果,而不是只发送一句“部署失败”。通知渠道可以是邮件、聊天机器人或事件系统,但通知失败不应覆盖原始部署异常。
最重要的验收结果不是看到一次红色构建,而是能够回答三个问题:候选版本为什么被判失败、流水线是否自动进入回滚、上一稳定版本是否经过独立验证重新可用。三项都有证据,失败演练才真正验证了生产交付流水线的恢复能力。