容器与云原生 / 系统课时
设置发布变更安全门禁
设置发布变更安全门禁
生产发布不能只看 YAML 能否提交成功,还要在变更进入更大流量前逐级证明配置正确、容量充足、滚动过程健康且业务指标没有恶化。本课把这些证据组织成可执行的发布门禁,并演示如何用 Kubernetes 原生命令完成关键检查。
学习目标
- 把静态检查、测试验证、容量评估、发布状态和业务指标组织成逐级门禁
- 使用
kubectl对 Deployment 变更进行服务端校验和滚动状态检查 - 明确每个门禁失败后的阻断、修正与恢复原则
门禁不是检查清单,而是放行条件
发布门禁的关键不是“检查过”,而是只有上一层证据满足条件,变更才能进入下一层。一套实用的滚动发布门禁可以按影响范围从小到大排列:静态配置、测试环境、容量、生产滚动状态、业务指标。
静态配置解决的是“对象能不能被集群正确接受”;测试环境验证的是“新版本能不能正常提供服务”;容量门禁判断的是“滚动期间减少旧 Pod、增加新 Pod 后是否仍有足够可用实例”;生产阶段则同时观察 Kubernetes 状态和真实请求结果。

先阻止无效配置进入集群
第一层门禁应尽量便宜。可以先做客户端语法检查,再使用 API Server 的 server-side dry-run,让准入控制、字段校验和服务端默认化真正参与判断,而不创建资源。
下面以待发布文件 deployment.yaml 为例:
kubectl apply --dry-run=server -f deployment.yaml
kubectl diff -f deployment.yaml预期输出
deployment.apps/<NAME> configured (server dry run)kubectl diff 在存在差异时会输出具体字段变化,并通常以退出码 1 表示“发现差异”,这不等于命令执行失败。实际资源名和差异内容取决于当前集群状态。
这一层还应人工或自动审查高风险字段,例如副本数、镜像、maxUnavailable、maxSurge、探针、资源请求与限制,以及可能改变调度范围的标签和亲和性。门禁的输出应是“允许进入下一阶段”或“阻断并修正”,而不是只保存一份检查日志。
容量门禁要按滚动窗口计算
Deployment 在滚动更新期间同时受到 maxUnavailable 和 maxSurge 约束。容量评估不能只问“正常情况下副本够不够”,还要确认发布过程中最少可用实例数、最多并存 Pod 数,以及节点是否能承载临时新增副本。
例如有 10 个副本,配置 maxUnavailable: 1、maxSurge: 2,滚动期间控制器允许最多约 12 个 Pod 同时存在,并要求至少约 9 个期望副本保持可用。若节点资源只够稳定运行 10 个 Pod,那么即使业务平时没有容量问题,发布时也可能因为新 Pod 无处调度而卡住。
可以先检查 Deployment 策略和当前资源状态:
kubectl get deployment <NAME> -n <NAMESPACE> -o yaml
kubectl get pods -n <NAMESPACE> -l app=<LABEL> -o wide
kubectl get nodes预期输出
NAME READY UP-TO-DATE AVAILABLE AGE
<NAME> <N>/<N> <N> <N> <AGE>第一条命令实际输出完整 YAML;后两条会显示 Pod 与节点状态。<NAME>、<NAMESPACE>、<LABEL>、<N> 和 <AGE> 需要替换为实际值。若滚动期间需要额外 Pod,而节点已经接近 CPU、内存或 Pod 数上限,应在生产变更前阻断发布,而不是等待调度失败后再处理。
生产门禁同时看控制器和业务
进入生产后,Kubernetes 状态只能证明“控制器认为发布正常”,不能单独证明用户请求没有受损。首先用 rollout 状态观察 Deployment 是否在超时时间内完成:
kubectl rollout status deployment/<NAME> -n <NAMESPACE> --timeout=5m预期输出
deployment "<NAME>" successfully rolled out如果出现超时,应立即查看新旧 ReplicaSet、不可用 Pod 及事件,而不是继续扩大变更范围。
kubectl get deployment <NAME> -n <NAMESPACE>
kubectl get rs -n <NAMESPACE> -l app=<LABEL>
kubectl get pods -n <NAMESPACE> -l app=<LABEL>
kubectl describe deployment <NAME> -n <NAMESPACE>预期输出
NAME READY UP-TO-DATE AVAILABLE AGE
<NAME> <N>/<N> <N> <N> <AGE>其他命令会按集群实际状态列出 ReplicaSet、Pod 和事件,因此不应预设固定文本。门禁应重点确认期望副本、更新副本和可用副本最终收敛,并且没有持续的 Pending、CrashLoopBackOff、探针失败或调度异常。
业务层还应设置明确阈值,例如 HTTP 5xx、关键接口成功率、P95/P99 延迟和核心业务事件成功率。阈值必须来自服务自身的 SLO 或发布基线,而不是在事故发生后临时决定。
门禁失败时先停止扩大影响
不同门禁失败后的动作可以不同,但共同原则是不要继续扩大流量。静态检查失败应直接拒绝提交;测试或容量不足应回到变更阶段修正;生产滚动状态异常时应暂停进一步发布,确认新版本是否需要回滚。
若已经确认当前 Deployment 修订版本不可接受,可以查看历史并回滚:
kubectl rollout history deployment/<NAME> -n <NAMESPACE>
kubectl rollout undo deployment/<NAME> -n <NAMESPACE>
kubectl rollout status deployment/<NAME> -n <NAMESPACE> --timeout=5m预期输出
deployment.apps/<NAME> rolled back
deployment "<NAME>" successfully rolled out具体历史修订号和回滚后的状态取决于集群实际情况。生产治理的重点不是保证每次发布都成功,而是让无效变更尽可能早失败,并在生产证据恶化时停止放大影响。只有静态正确、测试通过、容量充足、滚动收敛且业务指标稳定同时成立,变更才应被视为完成放行。