容器与云原生 / 系统课时

演练零中断滚动发布

演练零中断滚动发布

零中断滚动发布要证明的是:在持续真实请求下升级版本时,请求不中断,新 Pod 只在可服务后接流量,旧 Pod 在退出前仍能完成在途请求。本课用一个四副本 Deployment,把滚动策略、就绪检查、终止过程和请求侧证据放在同一次演练中验证。

学习目标

  • 配置适合持续流量的滚动策略与就绪条件
  • 在升级期间同时观察请求、Pod 与 EndpointSlice 状态
  • 用控制面和请求面证据判断发布是否真正零中断

为滚动过程设置可用性约束

假设应用提供 /ready 与 /version,并正确处理 SIGTERM:收到终止信号后停止接收新工作,等待在途请求结束,再在宽限期内退出。下面的主配置保留 4 个副本,滚动时最多额外创建 1 个 Pod,并要求 Deployment 不主动降低可用副本数。

yaml
apiVersion: apps/v1
kind: Deployment
metadata:
  name: demo-web
spec:
  replicas: 4
  minReadySeconds: 5
  strategy:
    type: RollingUpdate
    rollingUpdate:
      maxUnavailable: 0
      maxSurge: 1
  selector:
    matchLabels:
      app: demo-web
  template:
    metadata:
      labels:
        app: demo-web
    spec:
      terminationGracePeriodSeconds: 30
      containers:
        - name: web
          image: example.com/demo-web:v1
          ports:
            - containerPort: 8080
          readinessProbe:
            httpGet:
              path: /ready
              port: 8080
            periodSeconds: 5
            timeoutSeconds: 2
            failureThreshold: 2
---
apiVersion: v1
kind: Service
metadata:
  name: demo-web
spec:
  selector:
    app: demo-web
  ports:
    - port: 80
      targetPort: 8080

这是配置示例;将镜像替换为实际可用、且实现上述两个端点和优雅关闭逻辑的应用镜像。maxUnavailable: 0 与 maxSurge: 1 约束滚动期间的容量,minReadySeconds 可避免刚通过探针就立即被视为稳定可用。验证方式是应用配置后确认 Deployment 的可用副本数达到 4。

bash
kubectl apply -f deployment.yaml
kubectl rollout status deployment/demo-web --timeout=5m
kubectl get deployment demo-web

预期输出

text
deployment.apps/demo-web <VALUE>
service/demo-web <VALUE>
deployment "demo-web" successfully rolled out
NAME       READY   UP-TO-DATE   AVAILABLE   AGE
demo-web   4/4     4            4           <TIME>

<VALUE> 可能是 created、configured 或 unchanged,<TIME> 也会因环境不同而变化。

终止阶段不要把固定 preStop: sleep 5 当作核心保证。它至多提供传播时间缓冲,不能证明流量已经摘除,也不能替代应用自身的 SIGTERM 处理。Pod 进入终止流程后,对应 EndpointSlice endpoint 会进入 terminating 状态,ready 会变为 false;如果该 endpoint 在终止期间仍能完成服务,可结合 serving 判断。

持续流量下的滚动发布时序

建立持续请求基线

在升级前先从集群内通过 Service 持续访问 /version。下面启动一个独立客户端 Pod,每 0.2 秒发起一次新请求;升级前先观察一段时间,确认没有基线失败。

bash
kubectl delete pod zero-downtime-client --ignore-not-found >/dev/null 2>&1 || true
kubectl run zero-downtime-client \
  --image=curlimages/curl:8.10.1 \
  --restart=Never \
  --command -- sh -c 'while true; do curl -fsS --max-time 2 http://demo-web/version || echo REQUEST_FAILED; sleep 0.2; done'
kubectl wait --for=condition=Ready pod/zero-downtime-client --timeout=2m
kubectl logs -f pod/zero-downtime-client

预期输出

text
pod/zero-downtime-client created
pod/zero-downtime-client condition met
v1
v1
v1

日志会持续追加;如果升级前已经出现 REQUEST_FAILED,应先处理原有网络或应用故障,否则后续无法判断失败是否由发布引入。

执行升级并观察端点切换

保持请求循环运行,在另一个终端更新镜像并等待 Deployment 收敛。

bash
kubectl set image deployment/demo-web web=example.com/demo-web:v2
kubectl rollout status deployment/demo-web --timeout=5m

预期输出

text
deployment.apps/demo-web image updated
deployment "demo-web" successfully rolled out

滚动期间可反复查看 Pod 与 EndpointSlice。新 Pod 应先通过 readiness,再成为正常后端;旧 Pod 进入终止时,对应 endpoint 的 terminating 应为 true、ready 应为 false,而 serving 用来表达它在终止期间是否仍可服务。

bash
kubectl get pods -l app=demo-web
kubectl get endpointslices -l kubernetes.io/service-name=demo-web \
  -o jsonpath='{range .items[*].endpoints[*]}{.targetRef.name}{"\t"}ready={.conditions.ready}{"\t"}serving={.conditions.serving}{"\t"}terminating={.conditions.terminating}{"\n"}{end}'

预期结果

text
demo-web-<ID>    ready=true    serving=true    terminating=<VALUE>
demo-web-<ID>    ready=false   serving=<VALUE> terminating=true

第二行只会在恰好捕捉到终止中的旧 Pod 时出现;其中 serving 是否为 true 取决于该 endpoint 当时是否仍可服务。非终止 endpoint 的 terminating 可能为空或为 false,具体展示取决于集群版本和对象状态。请求日志在滚动窗口中可以出现 v1 与 v2 交错,但不应出现 REQUEST_FAILED。

出现失败时定位发布阶段

如果请求失败,先判断失败发生在新 Pod 尚未 Ready,还是旧 Pod 正在终止。前者重点检查应用启动时间、readinessProbe 和临时容量;后者重点检查应用的 SIGTERM 处理、在途请求排空以及 EndpointSlice 的 serving、terminating 条件,而不是只继续增加休眠时间。

bash
kubectl get deployment demo-web
kubectl get pods -l app=demo-web
kubectl describe deployment demo-web
kubectl describe pod <POD_NAME>

预期结果

text
Deployment 与 Pod 状态用于确认副本是否收敛;describe 输出中的 Events 和探针信息用于定位调度、拉镜像、readinessProbe 或终止阶段异常。

<POD_NAME> 替换为实际 Pod 名称。若 readiness 连续失败,应先修复新版本的就绪条件;若请求集中在旧 Pod 终止瞬间失败,应检查应用是否在收到终止信号后正确停止接收新工作并完成在途请求。

用控制面与请求面共同验收

最后同时检查目标镜像、副本可用性和请求失败数。只有 Deployment 收敛而请求不中断,才能判定本次演练通过。

bash
kubectl rollout status deployment/demo-web --timeout=5m
kubectl get pods -l app=demo-web -o jsonpath='{range .items[*]}{.metadata.name}{"\t"}{.status.containerStatuses[0].ready}{"\t"}{.spec.containers[0].image}{"\n"}{end}'
kubectl logs pod/zero-downtime-client | grep -c REQUEST_FAILED
kubectl logs pod/zero-downtime-client | tail -n 5

预期输出

text
deployment "demo-web" successfully rolled out
demo-web-<ID>    true    example.com/demo-web:v2
demo-web-<ID>    true    example.com/demo-web:v2
demo-web-<ID>    true    example.com/demo-web:v2
demo-web-<ID>    true    example.com/demo-web:v2
0
v2
v2
v2
v2
v2

如果失败计数为 0、最终 4 个 Pod 都 Ready 且使用 v2,并且请求最终稳定返回 v2,才能证明这次滚动发布在当前测试流量与故障条件下实现了零可见中断。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

演练零中断滚动发布

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通