CI/CD / 系统课时
处理配置漂移
处理配置漂移
配置漂移指集群实际状态与 Git 中声明的期望状态不一致。本节建立一套从发现差异、判断来源到选择自动修复或人工处理的流程,既避免长期积累未审计改动,也避免自愈策略误删紧急处置或与其他控制器反复争抢字段。
学习目标
- 识别 Git 期望状态与集群实际状态之间的漂移。
- 区分可自动自愈、应忽略和必须人工确认的差异。
- 配置自愈策略,并验证漂移能够按预期收敛。
先确认真的发生了漂移
漂移通常来自三类变化:人工直接修改集群、外部控制器主动改写字段,以及 GitOps 控制器未能成功同步。发现应用异常时,不要先手工改回去,而应同时确认同步状态、健康状态和具体差异,保留“谁改了什么”的证据。
argocd app get payment-prod -o json | jq -r '.status.sync.status, .status.health.status'预期输出
OutOfSync
HealthyOutOfSync 说明实际资源与 Git 期望状态存在差异,但 Healthy 只说明当前资源仍满足健康检查,两者不能互相替代。若输出是 Synced,应继续排查应用行为而不是把问题归因为配置漂移。

用来源和风险决定处理方式
不是所有差异都应该强制改回 Git。决定动作时,先问两个问题:这个字段是否应由 GitOps 独占管理,以及立即恢复 Git 值是否会产生业务风险。
可自动修复的典型情况是 Deployment 镜像、环境变量、Service 配置等明确由 Git 管理的字段被临时手改,而且恢复不会破坏数据。应忽略的典型情况是 HPA 动态修改副本数,或注入器、Operator 合法生成字段,此时应调整差异忽略规则或字段归属,而不是和另一个控制器持续互相覆盖。
未知来源的变更、生产紧急热修、存储规格、流量切换等高风险差异应先人工确认。正确做法通常是把最终认可的状态回写 Git,再恢复自动同步,而不是把手工改动永久留在集群里。
开启自动自愈并保留边界
下面是 Argo CD Application 的片段示例。automated.selfHeal 允许控制器发现已跟踪资源被手工改动后重新应用 Git 中的期望状态;prune 是否开启应结合删除资源的风险单独决定。
spec:
syncPolicy:
automated:
enabled: true
prune: false
selfHeal: true这段配置生效后,受 Argo CD 管理且没有被差异规则忽略的字段发生漂移时,会重新向 Git 声明的状态收敛。验证时可以读取应用对象中的自动同步配置。
argocd app get payment-prod -o json | jq -r '.spec.syncPolicy.automated.enabled, .spec.syncPolicy.automated.selfHeal'预期输出
true
true验证自愈而不是只看状态变绿
验证自愈时,选择一个无业务风险、明确由 Git 管理的字段制造小范围漂移。例如在测试环境临时修改 Deployment 的注解,然后观察 Argo CD 是否将其恢复。不要在生产环境用镜像、端口、存储或流量字段做破坏性测试。
自愈完成后至少确认三件事:应用重新变为 Synced,实际资源值与 Git 一致,审计记录能解释漂移来源和恢复动作。若资源在 OutOfSync 与 Synced 之间反复切换,优先检查是否存在 HPA、Operator、准入注入器或其他自动化系统同时管理同一字段。
让人工变更最终回到 Git
GitOps 不是禁止任何紧急手工操作,而是要求手工操作不能成为长期事实来源。紧急情况下可以先止损,但随后必须决定“保留这次变更还是撤销它”:保留就把变化提交到 Git,撤销就让控制器恢复 Git 状态。只有这样,下一次部署、灾备重建和审计才能得到同一份期望配置。