容器与云原生 / 系统课时

建立发布前检查清单

建立发布前检查清单

生产发布前最重要的不是确认 YAML 能否提交,而是提前排除会让滚动更新失控的条件。本课把镜像、容量、滚动参数、探针、优雅终止、兼容性和回退条件整理成一套可执行检查,并用 Kubernetes 命令验证关键门禁。

学习目标

  • 建立覆盖镜像、容量、健康检查和滚动策略的发布前检查项
  • 用命令验证 Deployment 与集群是否满足发布条件
  • 明确兼容性和回退条件,避免发布失败后无法安全恢复

先把检查项变成发布门禁

发布前检查不能只是文档中的提醒,而应当能够回答一个明确问题:当前版本是否具备进入生产滚动发布的条件。建议至少覆盖七类门禁:镜像可用、资源容量足够、滚动参数合理、探针有效、终止过程可控、版本兼容、回退路径明确。

发布前检查从制品到回退条件的门禁流程

镜像检查至少确认镜像标签或 digest 已确定、目标仓库可访问、镜像能够在目标节点架构运行。生产环境不应依赖会被覆盖的浮动标签来判断版本身份;发生回退时,也必须能重新拉取上一稳定版本。

检查容量与滚动参数

滚动发布期间,新旧 Pod 会在一段时间内同时存在,因此平时刚好够用的资源容量不一定足够。先查看 Deployment 的副本数和滚动参数,再确认节点是否有能力承载额外 Pod。

bash
kubectl get deployment web -n production -o jsonpath='{.spec.replicas}{" replicas\n"}{.spec.strategy.rollingUpdate.maxSurge}{" maxSurge\n"}{.spec.strategy.rollingUpdate.maxUnavailable}{" maxUnavailable\n"}'
kubectl get nodes
kubectl top nodes

预期输出

text
6 replicas
25% maxSurge
0 maxUnavailable
NAME       STATUS   ROLES    AGE   VERSION
<NAME>     Ready    <ROLE>   <AGE> <VERSION>
NAME       CPU(cores)   CPU%   MEMORY(bytes)   MEMORY%
<NAME>     <VALUE>      <VALUE> <VALUE>         <VALUE>

实际节点名、版本和资源值会不同。对于 6 个副本、maxSurge: 25% 的 Deployment,滚动期间可能需要额外创建 Pod;如果集群已经接近 CPU、内存、Pod 数或可用区容量上限,发布就可能卡在 Pending,而不是平滑推进。

maxUnavailable: 0 可以降低主动减少可用副本的风险,但它并不自动保证零故障。若新 Pod 因探针、调度或启动依赖无法 Ready,发布仍然会停滞,因此滚动参数必须和容量及健康检查一起审查。

验证探针和优雅终止

readinessProbe 决定 Pod 何时能够接收 Service 流量,是滚动发布中最直接的流量门禁。startupProbe 适合启动较慢的应用,避免启动阶段过早触发存活检查;livenessProbe 用于发现已经失去自恢复能力的进程,不应承担上线流量验证职责。

检查实际生效配置:

bash
kubectl get deployment web -n production -o yaml

预期结果应能在容器配置中看到与应用行为一致的探针和终止设置,例如:

yaml
readinessProbe:
  httpGet:
    path: /ready
    port: 8080
  periodSeconds: 5
  failureThreshold: 3
livenessProbe:
  httpGet:
    path: /healthz
    port: 8080
  periodSeconds: 10
startupProbe:
  httpGet:
    path: /healthz
    port: 8080
  periodSeconds: 5
  failureThreshold: 30
lifecycle:
  preStop:
    exec:
      command: ["sh", "-c", "sleep 5"]
terminationGracePeriodSeconds: 30

这是配置示例,具体路径、端口和时间必须依据应用真实行为确定。验证重点不是“字段存在”,而是 Pod 在应用尚未可服务时不会被判定 Ready,在收到终止信号后有足够时间停止接收新请求并完成在途请求。

检查兼容性与回退条件

滚动发布意味着新旧版本会短暂共存,因此新版本至少应在发布窗口内兼容旧版本仍然使用的接口、消息格式、缓存结构和数据库状态。特别是数据库变更,不应先执行会立即让旧版本失效的破坏性 DDL,再期待滚动发布自行解决兼容问题。

发布前应写清楚可观察的回退条件,例如错误率超过门槛、新 Pod 长时间无法 Ready、关键业务探针失败或延迟明显恶化。随后确认 Deployment 仍保留可用的历史 ReplicaSet,并记录当前稳定镜像。

bash
kubectl rollout history deployment/web -n production
kubectl get deployment web -n production -o jsonpath='{.spec.template.spec.containers[*].image}{"\n"}'

预期输出

text
deployment.apps/web
REVISION  CHANGE-CAUSE
<ID>      <none>
<ID>      <none>
<REGISTRY>/<IMAGE>:<TAG>

修订号和镜像值以实际环境为准。只有当上一稳定版本的镜像仍可获取、数据与接口变化允许旧版本重新运行时,kubectl rollout undo 才是真正可执行的回退方案,而不是形式上的按钮。

发布前的最终判定

允许发布前,应能同时回答:目标镜像是什么、滚动期间额外容量从哪里来、新 Pod 如何证明已经可服务、旧 Pod 如何安全退出、新旧版本能否并存、什么现象触发停止或回退、回退后旧版本是否还能正常工作。任何一项没有证据支持,都应先解决再进入生产滚动发布。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

建立发布前检查清单

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通