CI/CD / 系统课时
发现集群被手工改过怎么办
发现集群被手工改过怎么办
GitOps 环境里直接用 kubectl edit 或 kubectl patch 修改资源,会让集群实际状态偏离 Git 声明。本节用 Argo CD Diff 定位这种配置漂移,并说明何时让 selfHeal 恢复 Git 状态,何时应该先修改 Git 再同步。
学习目标
- 用 Argo CD Diff 和 Kubernetes 命令确认资源是否发生配置漂移
- 理解开启 selfHeal 后 Git 声明如何重新覆盖集群中的手工修改
- 根据变更来源判断应该恢复 Git,还是把合理修改正式写回 Git
先确认是不是配置漂移
Argo CD 持续比较 Git 中的期望状态与集群中的实际状态。有人绕过 Git 修改受管资源后,应用通常会出现 OutOfSync。此时不要看到差异就立即同步,先确认差异是什么、是谁产生的,以及 Git 中的声明是否仍然正确。

先查看应用状态和差异。下面假设应用名为 demo,由当前 Argo CD CLI 上下文管理:
argocd app get demo
argocd app diff demo预期输出会因资源内容不同而变化,但发生漂移时应能看到类似状态和字段差异:
Sync Status: OutOfSync
Health Status: Healthy
===== apps/Deployment default/demo ======
< replicas: 2
---
> replicas: 5这里的 <、> 具体方向和 Diff 内容取决于版本及资源状态,关键是确认同一字段在目标状态与实际状态之间存在差异。Healthy 与 OutOfSync 并不矛盾:前者表示资源健康,后者表示实际配置没有完全匹配 Git 声明。
从资源现场确认手工修改
如果 Diff 指向 Deployment 副本数、镜像或环境变量,可以继续读取集群实际值。例如检查当前副本数:
kubectl get deployment demo -n default -o jsonpath='{.spec.replicas}{"\n"}'预期输出假设现场被手工扩到 5 个副本:
5再对照 Git 中对应 Helm values 或 Kubernetes 清单。如果 Git 明确声明副本数为 2,而集群是 5,就已经得到一个可验证的漂移点。还应结合审计日志、变更记录或团队操作记录判断修改来源,而不要仅凭字段差异推测是谁操作的。
Git 正确时恢复声明状态
如果确认 Git 中的配置才是期望状态,可以手动同步应用:
argocd app sync demo预期输出的具体时间、资源列表和消息会随环境变化,但成功后应用应回到同步状态:
Sync Status: Synced随后再次读取资源验证实际状态。例如 Git 声明 replicas: 2:
kubectl get deployment demo -n default -o jsonpath='{.spec.replicas}{"\n"}'预期输出:
2这一步验证的是集群已经重新收敛到 Git,而不只是 Argo CD 页面上的状态发生变化。
用 selfHeal 自动纠正漂移
对于明确要求 Git 始终作为唯一事实来源的应用,可以在自动同步策略中启用 selfHeal。以下为 Application 配置的片段示例,依赖现有 Application 的其他字段:
spec:
syncPolicy:
automated:
prune: true
selfHeal: true该配置生效后,Argo CD 检测到受管资源偏离期望状态时,可以自动尝试重新同步。验证时应查看应用状态,并在受控测试环境中修改一个允许测试的字段,确认它最终重新收敛,而不是在生产资源上随意制造漂移。
合理修改应该先进入 Git
如果调查后发现手工扩容是因为业务确实需要 5 个副本,那么正确做法不是让现场值长期对抗 Git,也不是关闭 Argo CD 的同步能力。应把 replicas: 5 写入对应 Helm values 或声明文件,经过正常评审和提交,再由 Argo CD 同步。
判断原则可以压缩为一句话:Git 正确而集群错误,就让集群回到 Git;集群中的变化代表新的正确需求,就先把需求正式写进 Git。 这样才能同时恢复同步状态和可追溯的变更历史。