CI/CD / 系统课时

模拟部署失败并执行回滚

模拟部署失败并执行回滚

生产流水线不能只证明部署成功,还要证明部署失败时能够停止放量、传播失败状态,并恢复到已验证的上一版本。本节用可控的健康检查失败模拟一次发布事故,把部署、检查、回滚和通知串成可验证的闭环。

学习目标

  • 制造可重复的健康检查失败,并让 Jenkins 正确判定部署失败
  • 在失败路径中自动恢复上一版本,并再次验证服务健康状态
  • 区分部署失败、回滚失败和通知失败,避免错误被后续步骤掩盖

设计可控的失败场景

不要通过随机杀进程或破坏生产数据测试回滚。更安全的做法是部署一个明确会使健康检查失败的候选版本,例如在测试环境让 /health 返回非 2xx 状态。流水线需要保存当前稳定版本 STABLE_VERSION,然后尝试发布 CANDIDATE_VERSION。

一次可靠的失败链路应是:部署候选版本 → 健康检查失败 → 阶段失败 → 执行回滚 → 部署稳定版本 → 再次健康检查 → 记录最终状态并通知。这里同时涉及多个状态和分支,用流程图比连续文字更容易核对。

部署失败与回滚流程

在流水线中执行失败与回滚

下面使用 Declarative Pipeline 演示核心控制逻辑。示例假定 deploy.sh 接收版本号并完成目标环境部署,HEALTH_URL 指向目标环境健康检查地址。retry 用于容忍应用启动期间的短暂不可用,而不是掩盖持续故障。

groovy
pipeline {
    agent any
    environment {
        STABLE_VERSION = '1.4.2'
        CANDIDATE_VERSION = '1.5.0-broken'
        HEALTH_URL = 'https://staging.example.com/health'
    }
    stages {
        stage('Deploy candidate') {
            steps {
                sh './deploy.sh "$CANDIDATE_VERSION"'
            }
        }
        stage('Verify candidate') {
            steps {
                retry(3) {
                    sh 'curl --fail --silent --show-error "$HEALTH_URL"'
                }
            }
        }
    }
    post {
        failure {
            script {
                echo "Candidate failed; rolling back to ${STABLE_VERSION}"
                sh './deploy.sh "$STABLE_VERSION"'
                retry(3) {
                    sh 'curl --fail --silent --show-error "$HEALTH_URL"'
                }
            }
        }
    }
}

预期结果:当候选版本持续返回 HTTP 4xx/5xx 或无法连接时,curl --fail 返回非零退出码;三次检查均失败后构建进入失败路径,并部署 1.4.2。回滚后的健康检查成功时,流水线仍保留本次候选版本发布失败这一事实。控制台中的具体时间和执行节点会因环境不同而变化。

text
ERROR: script returned exit code <ID>
Candidate failed; rolling back to 1.4.2
Finished: FAILURE

验证失败传播与恢复结果

仅看到回滚命令执行过并不能证明恢复成功。回滚后至少重新检查服务健康状态,并确认运行版本确实回到了稳定版本。如果应用提供版本端点,可以在测试环境执行独立验证。

bash
curl --fail --silent --show-error https://staging.example.com/health
curl --fail --silent --show-error https://staging.example.com/version

预期输出取决于应用接口定义。健康接口应返回成功状态,版本接口应显示稳定版本;例如测试服务约定返回纯文本时,可以得到:

text
OK
1.4.2

如果健康检查恢复但版本仍是候选版本,说明回滚操作并未真正切换制品;如果版本正确而健康检查仍失败,则应把问题视为回滚失败继续告警,而不是宣布恢复成功。

让通知表达真实状态

通知应携带构建地址、失败阶段、候选版本、回滚目标版本和回滚结果,而不是只发送一句“部署失败”。通知渠道可以是邮件、聊天机器人或事件系统,但通知失败不应覆盖原始部署异常。

最重要的验收结果不是看到一次红色构建,而是能够回答三个问题:候选版本为什么被判失败、流水线是否自动进入回滚、上一稳定版本是否经过独立验证重新可用。三项都有证据,失败演练才真正验证了生产交付流水线的恢复能力。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

模拟部署失败并执行回滚

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通