CI/CD / 系统课时
演练一次失败发布与回退
演练一次失败发布与回退
GitOps 回退的关键不是在集群里临时改到“能跑”,而是把 Git 中的错误期望状态撤销,再让 Argo CD 将集群收敛到恢复后的版本。本节故意制造一次镜像版本错误,观察失败状态并完成可审计的 Git 回退。
学习目标
- 识别失败发布在 Git、Argo CD 与 Kubernetes 三层的表现
- 使用 Git revert 撤销错误声明并由 Argo CD 恢复应用
- 验证 Git 期望状态、同步状态和工作负载最终一致
制造一个可控的失败发布
演练应在测试或专用演练环境执行,不要为了练习故意破坏真实生产业务。假设 Helm values 当前使用已验证镜像 registry.example.com/app:1.8.3,现在把标签改成仓库中不存在的演练值 rollback-drill-missing 并提交。
git switch main
sed -i 's/tag: "1.8.3"/tag: "rollback-drill-missing"/' environments/staging/values.yaml
git add environments/staging/values.yaml
git commit -m "drill: introduce invalid image tag"
git push origin main预期输出
[main <ID>] drill: introduce invalid image tag
1 file changed, 1 insertion(+), 1 deletion(-)
<...><ID> 是实际提交 ID,推送输出也会因远端地址和 Git 版本不同而变化。这里假设目标文件原本确实包含 tag: "1.8.3";正式演练前应先检查文件,避免 sed 没有匹配却继续提交。
从症状定位失败层级
Argo CD 检测到新提交后会尝试把声明同步到集群。清单本身可以成功应用,但 Kubernetes 拉取不存在的镜像会失败,因此“资源已被同步”与“应用健康”不能视为同一件事。

先同时查看 Argo CD 和 Kubernetes。前者回答“期望状态是否已经同步以及应用健康度如何”,后者回答“具体工作负载为什么没有就绪”。
argocd app get app-staging
kubectl -n app-staging get pods预期输出
Name: app-staging
<...>
Sync Status: Synced
Health Status: Degraded
NAME READY STATUS RESTARTS AGE
app-<ID> 0/1 ImagePullBackOff 0 <TIME>实际 Pod 名称、年龄和 Argo CD 展示字段会不同,因此使用 <ID> 与 <TIME> 表示动态值。如果状态是 ErrImagePull、ImagePullBackOff 或其他错误,应继续通过 kubectl describe pod 查看事件,而不是仅凭状态名猜根因。
用 Git revert 恢复期望状态
GitOps 场景更适合使用 git revert 生成一个新的反向提交,而不是重写已经共享的分支历史。先找到刚才的失败提交,再撤销它并推送。
git log --oneline -5
git revert <ID>
git push origin main预期输出
[main <ID>] Revert "drill: introduce invalid image tag"
1 file changed, 1 insertion(+), 1 deletion(-)
<...>第一个 <ID> 应替换为失败发布对应的真实提交 ID;回退提交会获得新的 ID。若生产分支禁止直接推送,则应在回退分支执行 git revert,创建紧急 Pull Request,并沿团队规定的审核门禁合并,不能为了回退绕过仓库保护。
等待重新同步并验收
回退提交进入 Argo CD 跟踪的目标分支后,自动同步环境会再次收敛;未启用自动同步时,则按团队授权流程触发同步。最后同时检查 Argo CD 状态、Deployment 滚动结果和实际镜像。
argocd app get app-staging
kubectl -n app-staging rollout status deployment/app --timeout=120s
kubectl -n app-staging get deployment app -o jsonpath='{.spec.template.spec.containers[0].image}{"\n"}'预期输出
Name: app-staging
<...>
Sync Status: Synced
Health Status: Healthy
deployment "app" successfully rolled out
registry.example.com/app:1.8.3一次合格的失败发布演练最终要证明三件事同时成立:Git 已通过新提交撤销错误状态,Argo CD 已同步并恢复健康,Kubernetes 实际运行的工作负载也回到预期版本。只有三层重新一致,回退才算真正完成。