CI/CD / 系统课时

发布失败后回到上一版本

发布失败后回到上一版本

生产发布最危险的情况不是新版本失败,而是失败后才发现不知道上一版本是什么。本课把“记录当前版本、部署目标版本、健康检查、失败回滚”串成明确流程,使 Jenkins 在验证失败时能够使用已保存的版本标识恢复服务,而不是临时猜测镜像标签。

学习目标

  • 理解为什么回滚必须依赖明确且不可歧义的版本标识
  • 在部署前保存当前生产版本并用于失败回滚
  • 用健康检查决定保留新版本还是恢复上一版本

回滚依赖可部署的上一版本

如果生产环境始终只部署 latest,流水线很难回答“失败前运行的是哪个镜像”。可靠做法是让每次发布都使用不可歧义的标识,例如镜像 digest、Git 提交对应的标签或 CI 生成的唯一版本号,并在修改生产环境之前读取和保存当前版本。

回滚需要形成闭环:读取旧版本 → 部署新版本 → 健康检查 → 成功则结束 → 失败则重新部署旧版本 → 再次验证。旧版本必须仍然存在于镜像仓库,并且其运行所依赖的配置、数据库兼容性等条件仍然成立。

生产发布失败回滚流程

在流水线中保存和使用旧版本

下面用 Kubernetes Deployment 演示完整控制逻辑。示例假设 Jenkins Agent 已安装 kubectl、具有目标集群权限,并且 Deployment web 的第一个容器就是需要更新的应用容器。生产环境应按实际资源结构调整容器选择方式。

groovy
pipeline {
    agent any

    environment {
        NAMESPACE = 'production'
        DEPLOYMENT = 'web'
        NEW_IMAGE = 'registry.example.com/web:2026.09.20-1'
    }

    stages {
        stage('Record Current Version') {
            steps {
                script {
                    env.OLD_IMAGE = sh(
                        script: "kubectl -n ${NAMESPACE} get deployment ${DEPLOYMENT} -o jsonpath='{.spec.template.spec.containers[0].image}'",
                        returnStdout: true
                    ).trim()
                    echo "Current image: ${env.OLD_IMAGE}"
                }
            }
        }

        stage('Deploy and Verify') {
            steps {
                script {
                    try {
                        sh "kubectl -n ${NAMESPACE} set image deployment/${DEPLOYMENT} web=${NEW_IMAGE}"
                        sh "kubectl -n ${NAMESPACE} rollout status deployment/${DEPLOYMENT} --timeout=120s"
                    } catch (err) {
                        echo "Deployment verification failed; rollback to ${env.OLD_IMAGE}"
                        sh "kubectl -n ${NAMESPACE} set image deployment/${DEPLOYMENT} web=${env.OLD_IMAGE}"
                        sh "kubectl -n ${NAMESPACE} rollout status deployment/${DEPLOYMENT} --timeout=120s"
                        throw err
                    }
                }
            }
        }
    }
}

预期输出(新版本发布成功时,资源状态和时间信息会因集群而异):

text
Current image: registry.example.com/web:<ID>
deployment.apps/web image updated
deployment "web" successfully rolled out

<ID> 表示实际旧版本标识。若新版本在 120 秒内无法完成 rollout,catch 会执行旧镜像部署并等待其 rollout 完成,随后重新抛出原始异常,因此 Jenkins 构建仍会显示失败。这一点很重要:业务恢复成功不等于本次发布成功,失败记录应该保留下来供排查。

不要把 rollout 成功等同于业务健康

kubectl rollout status 能确认 Kubernetes rollout 达到期望状态,但它不能替代所有业务级检查。如果应用虽然 Pod Ready,却无法访问数据库或关键接口返回错误,还需要在部署后增加针对真实服务端点的健康验证。

例如可以在集群网络可访问的 Jenkins Agent 上执行 HTTP 检查:

bash
curl --fail --silent --show-error https://service.example.com/health

预期输出(接口正常且响应体设计为 ok 时):

text
ok

只有当该地址确实是团队定义的发布健康端点时,才能用它决定发布结果。若接口响应结构不同,应按真实契约检查,不能为了让流水线通过而只判断网络连接是否建立。

明确回滚不能解决的变化

镜像回滚只恢复应用版本,并不会自动撤销数据库迁移、消息格式变化、外部配置修改或已经产生的业务数据。如果新版本执行了不向后兼容的数据库迁移,即使旧镜像重新启动,也可能无法正常工作。

一次可验收的回滚演练应故意部署一个无法通过健康检查的版本,确认流水线能够找到部署前保存的旧版本、恢复它、验证恢复结果,同时把本次 Jenkins 发布保持为失败状态。这样才能证明回滚链路在真正事故发生前已经可执行。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

发布失败后回到上一版本

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通