CI/CD / 系统课时

发现集群被手工改过怎么办

发现集群被手工改过怎么办

GitOps 环境里直接用 kubectl edit 或 kubectl patch 修改资源,会让集群实际状态偏离 Git 声明。本节用 Argo CD Diff 定位这种配置漂移,并说明何时让 selfHeal 恢复 Git 状态,何时应该先修改 Git 再同步。

学习目标

  • 用 Argo CD Diff 和 Kubernetes 命令确认资源是否发生配置漂移
  • 理解开启 selfHeal 后 Git 声明如何重新覆盖集群中的手工修改
  • 根据变更来源判断应该恢复 Git,还是把合理修改正式写回 Git

先确认是不是配置漂移

Argo CD 持续比较 Git 中的期望状态与集群中的实际状态。有人绕过 Git 修改受管资源后,应用通常会出现 OutOfSync。此时不要看到差异就立即同步,先确认差异是什么、是谁产生的,以及 Git 中的声明是否仍然正确。

Git声明与集群实际状态发生漂移后的处理链路

先查看应用状态和差异。下面假设应用名为 demo,由当前 Argo CD CLI 上下文管理:

bash
argocd app get demo
argocd app diff demo

预期输出会因资源内容不同而变化,但发生漂移时应能看到类似状态和字段差异:

text
Sync Status: OutOfSync
Health Status: Healthy

===== apps/Deployment default/demo ======
< replicas: 2
---
> replicas: 5

这里的 <、> 具体方向和 Diff 内容取决于版本及资源状态,关键是确认同一字段在目标状态与实际状态之间存在差异。Healthy 与 OutOfSync 并不矛盾:前者表示资源健康,后者表示实际配置没有完全匹配 Git 声明。

从资源现场确认手工修改

如果 Diff 指向 Deployment 副本数、镜像或环境变量,可以继续读取集群实际值。例如检查当前副本数:

bash
kubectl get deployment demo -n default -o jsonpath='{.spec.replicas}{"\n"}'

预期输出假设现场被手工扩到 5 个副本:

text
5

再对照 Git 中对应 Helm values 或 Kubernetes 清单。如果 Git 明确声明副本数为 2,而集群是 5,就已经得到一个可验证的漂移点。还应结合审计日志、变更记录或团队操作记录判断修改来源,而不要仅凭字段差异推测是谁操作的。

Git 正确时恢复声明状态

如果确认 Git 中的配置才是期望状态,可以手动同步应用:

bash
argocd app sync demo

预期输出的具体时间、资源列表和消息会随环境变化,但成功后应用应回到同步状态:

text
Sync Status: Synced

随后再次读取资源验证实际状态。例如 Git 声明 replicas: 2:

bash
kubectl get deployment demo -n default -o jsonpath='{.spec.replicas}{"\n"}'

预期输出:

text
2

这一步验证的是集群已经重新收敛到 Git,而不只是 Argo CD 页面上的状态发生变化。

用 selfHeal 自动纠正漂移

对于明确要求 Git 始终作为唯一事实来源的应用,可以在自动同步策略中启用 selfHeal。以下为 Application 配置的片段示例,依赖现有 Application 的其他字段:

yaml
spec:
  syncPolicy:
    automated:
      prune: true
      selfHeal: true

该配置生效后,Argo CD 检测到受管资源偏离期望状态时,可以自动尝试重新同步。验证时应查看应用状态,并在受控测试环境中修改一个允许测试的字段,确认它最终重新收敛,而不是在生产资源上随意制造漂移。

合理修改应该先进入 Git

如果调查后发现手工扩容是因为业务确实需要 5 个副本,那么正确做法不是让现场值长期对抗 Git,也不是关闭 Argo CD 的同步能力。应把 replicas: 5 写入对应 Helm values 或声明文件,经过正常评审和提交,再由 Argo CD 同步。

判断原则可以压缩为一句话:Git 正确而集群错误,就让集群回到 Git;集群中的变化代表新的正确需求,就先把需求正式写进 Git。 这样才能同时恢复同步状态和可追溯的变更历史。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

发现集群被手工改过怎么办

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通