容器与云原生 / 系统课时

认识滚动发布的故障链路

认识滚动发布的故障链路

一次滚动发布会同时改变控制器期望状态、Pod 可用性和 Service 后端。要判断发布为什么影响业务,关键不是只看 Pod 是否 Running,而是沿镜像、Deployment、ReplicaSet、Pod、EndpointSlice 到真实请求逐层确认异常首次出现的位置。

学习目标

  • 说清代码变更从镜像进入业务流量路径的完整链路
  • 区分 Deployment、ReplicaSet、Pod 与 Service 在发布中的职责
  • 根据用户侧现象确定最值得优先检查的发布环节

从代码变更到业务请求

典型发布从构建新镜像开始。Deployment 的 Pod 模板引用新镜像后,控制器创建新的 ReplicaSet,再由 ReplicaSet 创建新版 Pod。Service 的 selector 决定哪些 Pod 会被控制面纳入对应 EndpointSlice 的端点集合;Pod 的就绪状态则影响端点条件以及通常情况下的流量资格。

代码发布影响业务请求的完整故障链路

这里要把“被记录为端点”和“实际接收流量”分开理解。标签匹配的 Pod 即使尚未 Ready,也可能已经出现在 EndpointSlice 中,只是端点条件不同;默认场景下,就绪状态会参与普通 Service 的流量选择,但 publishNotReadyAddresses 等 Service 配置会改变未就绪端点的发布与可用性语义。因此,不能把“Ready 就一定接流量”或“NotReady 就一定不会接流量”当成绝对规则。

用一个最小示例观察链路

下面的清单声明 3 个副本,并配置 HTTP readinessProbe。Deployment 与 Service 使用相同的 app: web 标签,便于同时观察控制器副本、Pod 就绪状态和 Service 端点。

yaml
apiVersion: apps/v1
kind: Deployment
metadata:
  name: web
spec:
  replicas: 3
  selector:
    matchLabels:
      app: web
  template:
    metadata:
      labels:
        app: web
    spec:
      containers:
        - name: web
          image: nginx:1.27
          ports:
            - containerPort: 80
          readinessProbe:
            httpGet:
              path: /
              port: 80
            initialDelaySeconds: 2
            periodSeconds: 5
---
apiVersion: v1
kind: Service
metadata:
  name: web
spec:
  selector:
    app: web
  ports:
    - port: 80
      targetPort: 80

这是配置文件示例。将清单保存为 <PATH> 后应用;下面先等待 Deployment 完成滚动,再依次查看 ReplicaSet、Pod 与 EndpointSlice,避免把启动中的瞬时状态误判为最终结果。

bash
kubectl apply -f <PATH>
kubectl rollout status deployment/web --timeout=120s
kubectl get deployment web
kubectl get rs -l app=web
kubectl get pods -l app=web
kubectl get endpointslice -l kubernetes.io/service-name=web

预期结果

text
deployment.apps/web created
service/web created
deployment "web" successfully rolled out

NAME   READY   UP-TO-DATE   AVAILABLE   AGE
web    3/3     3            3           <TIME>

NAME       DESIRED   CURRENT   READY   AGE
web-<ID>   3         3         3       <TIME>

NAME            READY   STATUS    RESTARTS   AGE
web-<ID>-<ID>   1/1     Running   <VALUE>    <TIME>
web-<ID>-<ID>   1/1     Running   <VALUE>    <TIME>
web-<ID>-<ID>   1/1     Running   <VALUE>    <TIME>

NAME       ADDRESSTYPE   PORTS   ENDPOINTS         AGE
web-<ID>   IPv4          80      <IP>,<IP>,<IP>    <TIME>

首次创建且探针通过时,输出应与上面的结构相近;再次执行 kubectl apply 时可能显示 configured 或 unchanged。资源名、IP、年龄和重启次数属于动态值,不同 Kubernetes 版本的展示列也可能略有差异。若 Pod 已出现但还未 Ready,应继续查看 EndpointSlice 的端点条件,而不是仅凭地址是否存在判断它正在承接流量。

故障如何沿链路放大

如果新镜像无法拉取,故障停在 Pod 创建阶段;如果容器能启动但 readinessProbe 持续失败,新 Pod 通常不会成为正常流量目标;如果探针过早成功,应用可能尚未完成缓存预热、连接池建立或依赖初始化,却已经开始承接请求,用户就会看到错误率或延迟上升。

另一类问题发生在标签边界。新版 Pod 即使健康,只要 Service selector 与 Pod 标签不再匹配,就不会被该 Service 对应的 EndpointSlice 跟踪;反过来,错误标签也可能把不应接流量的实例纳入端点。遇到未就绪端点时,还必须同时检查 publishNotReadyAddresses 等 Service 配置,避免把默认行为误当成固定规则。

按用户现象反推检查位置

发布后若新 Pod 大量处于 ImagePullBackOff 或 CrashLoopBackOff,优先检查镜像、启动命令、环境变量和挂载配置。Pod 为 Running 但长期 0/1 Ready 时,重点检查 readinessProbe 以及应用依赖是否真正可用。

如果所有 Pod 都 Ready,但 Service 请求没有到达新版实例,应继续检查标签、Service selector 和 EndpointSlice。若端点集合正常而错误率只在切换瞬间升高,则重点审查探针是否过早放行、终止中的 Pod 是否仍有存量连接,以及应用是否正确处理连接排空。

把滚动发布理解为一条从期望状态到真实请求的故障链路后,排障顺序就会更稳定:先定位异常首次出现的层级,再沿控制关系或流量关系向下验证,最后用真实请求确认恢复。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

认识滚动发布的故障链路

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通