CI/CD / 系统课时

演练一次失败发布与回退

演练一次失败发布与回退

GitOps 回退的关键不是在集群里临时改到“能跑”,而是把 Git 中的错误期望状态撤销,再让 Argo CD 将集群收敛到恢复后的版本。本节故意制造一次镜像版本错误,观察失败状态并完成可审计的 Git 回退。

学习目标

  • 识别失败发布在 Git、Argo CD 与 Kubernetes 三层的表现
  • 使用 Git revert 撤销错误声明并由 Argo CD 恢复应用
  • 验证 Git 期望状态、同步状态和工作负载最终一致

制造一个可控的失败发布

演练应在测试或专用演练环境执行,不要为了练习故意破坏真实生产业务。假设 Helm values 当前使用已验证镜像 registry.example.com/app:1.8.3,现在把标签改成仓库中不存在的演练值 rollback-drill-missing 并提交。

bash
git switch main
sed -i 's/tag: "1.8.3"/tag: "rollback-drill-missing"/' environments/staging/values.yaml
git add environments/staging/values.yaml
git commit -m "drill: introduce invalid image tag"
git push origin main

预期输出

text
[main <ID>] drill: introduce invalid image tag
 1 file changed, 1 insertion(+), 1 deletion(-)
<...>

<ID> 是实际提交 ID,推送输出也会因远端地址和 Git 版本不同而变化。这里假设目标文件原本确实包含 tag: "1.8.3";正式演练前应先检查文件,避免 sed 没有匹配却继续提交。

从症状定位失败层级

Argo CD 检测到新提交后会尝试把声明同步到集群。清单本身可以成功应用,但 Kubernetes 拉取不存在的镜像会失败,因此“资源已被同步”与“应用健康”不能视为同一件事。

失败发布从 Git 到回退恢复的状态链路

先同时查看 Argo CD 和 Kubernetes。前者回答“期望状态是否已经同步以及应用健康度如何”,后者回答“具体工作负载为什么没有就绪”。

bash
argocd app get app-staging
kubectl -n app-staging get pods

预期输出

text
Name:               app-staging
<...>
Sync Status:        Synced
Health Status:      Degraded

NAME                   READY   STATUS             RESTARTS   AGE
app-<ID>               0/1     ImagePullBackOff   0          <TIME>

实际 Pod 名称、年龄和 Argo CD 展示字段会不同,因此使用 <ID> 与 <TIME> 表示动态值。如果状态是 ErrImagePull、ImagePullBackOff 或其他错误,应继续通过 kubectl describe pod 查看事件,而不是仅凭状态名猜根因。

用 Git revert 恢复期望状态

GitOps 场景更适合使用 git revert 生成一个新的反向提交,而不是重写已经共享的分支历史。先找到刚才的失败提交,再撤销它并推送。

bash
git log --oneline -5
git revert <ID>
git push origin main

预期输出

text
[main <ID>] Revert "drill: introduce invalid image tag"
 1 file changed, 1 insertion(+), 1 deletion(-)
<...>

第一个 <ID> 应替换为失败发布对应的真实提交 ID;回退提交会获得新的 ID。若生产分支禁止直接推送,则应在回退分支执行 git revert,创建紧急 Pull Request,并沿团队规定的审核门禁合并,不能为了回退绕过仓库保护。

等待重新同步并验收

回退提交进入 Argo CD 跟踪的目标分支后,自动同步环境会再次收敛;未启用自动同步时,则按团队授权流程触发同步。最后同时检查 Argo CD 状态、Deployment 滚动结果和实际镜像。

bash
argocd app get app-staging
kubectl -n app-staging rollout status deployment/app --timeout=120s
kubectl -n app-staging get deployment app -o jsonpath='{.spec.template.spec.containers[0].image}{"\n"}'

预期输出

text
Name:               app-staging
<...>
Sync Status:        Synced
Health Status:      Healthy

deployment "app" successfully rolled out
registry.example.com/app:1.8.3

一次合格的失败发布演练最终要证明三件事同时成立:Git 已通过新提交撤销错误状态,Argo CD 已同步并恢复健康,Kubernetes 实际运行的工作负载也回到预期版本。只有三层重新一致,回退才算真正完成。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

演练一次失败发布与回退

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通