容器与云原生 / 系统课时
认识滚动发布的故障链路
认识滚动发布的故障链路
一次滚动发布会同时改变控制器期望状态、Pod 可用性和 Service 后端。要判断发布为什么影响业务,关键不是只看 Pod 是否 Running,而是沿镜像、Deployment、ReplicaSet、Pod、EndpointSlice 到真实请求逐层确认异常首次出现的位置。
学习目标
- 说清代码变更从镜像进入业务流量路径的完整链路
- 区分 Deployment、ReplicaSet、Pod 与 Service 在发布中的职责
- 根据用户侧现象确定最值得优先检查的发布环节
从代码变更到业务请求
典型发布从构建新镜像开始。Deployment 的 Pod 模板引用新镜像后,控制器创建新的 ReplicaSet,再由 ReplicaSet 创建新版 Pod。Service 的 selector 决定哪些 Pod 会被控制面纳入对应 EndpointSlice 的端点集合;Pod 的就绪状态则影响端点条件以及通常情况下的流量资格。

这里要把“被记录为端点”和“实际接收流量”分开理解。标签匹配的 Pod 即使尚未 Ready,也可能已经出现在 EndpointSlice 中,只是端点条件不同;默认场景下,就绪状态会参与普通 Service 的流量选择,但 publishNotReadyAddresses 等 Service 配置会改变未就绪端点的发布与可用性语义。因此,不能把“Ready 就一定接流量”或“NotReady 就一定不会接流量”当成绝对规则。
用一个最小示例观察链路
下面的清单声明 3 个副本,并配置 HTTP readinessProbe。Deployment 与 Service 使用相同的 app: web 标签,便于同时观察控制器副本、Pod 就绪状态和 Service 端点。
apiVersion: apps/v1
kind: Deployment
metadata:
name: web
spec:
replicas: 3
selector:
matchLabels:
app: web
template:
metadata:
labels:
app: web
spec:
containers:
- name: web
image: nginx:1.27
ports:
- containerPort: 80
readinessProbe:
httpGet:
path: /
port: 80
initialDelaySeconds: 2
periodSeconds: 5
---
apiVersion: v1
kind: Service
metadata:
name: web
spec:
selector:
app: web
ports:
- port: 80
targetPort: 80这是配置文件示例。将清单保存为 <PATH> 后应用;下面先等待 Deployment 完成滚动,再依次查看 ReplicaSet、Pod 与 EndpointSlice,避免把启动中的瞬时状态误判为最终结果。
kubectl apply -f <PATH>
kubectl rollout status deployment/web --timeout=120s
kubectl get deployment web
kubectl get rs -l app=web
kubectl get pods -l app=web
kubectl get endpointslice -l kubernetes.io/service-name=web预期结果
deployment.apps/web created
service/web created
deployment "web" successfully rolled out
NAME READY UP-TO-DATE AVAILABLE AGE
web 3/3 3 3 <TIME>
NAME DESIRED CURRENT READY AGE
web-<ID> 3 3 3 <TIME>
NAME READY STATUS RESTARTS AGE
web-<ID>-<ID> 1/1 Running <VALUE> <TIME>
web-<ID>-<ID> 1/1 Running <VALUE> <TIME>
web-<ID>-<ID> 1/1 Running <VALUE> <TIME>
NAME ADDRESSTYPE PORTS ENDPOINTS AGE
web-<ID> IPv4 80 <IP>,<IP>,<IP> <TIME>首次创建且探针通过时,输出应与上面的结构相近;再次执行 kubectl apply 时可能显示 configured 或 unchanged。资源名、IP、年龄和重启次数属于动态值,不同 Kubernetes 版本的展示列也可能略有差异。若 Pod 已出现但还未 Ready,应继续查看 EndpointSlice 的端点条件,而不是仅凭地址是否存在判断它正在承接流量。
故障如何沿链路放大
如果新镜像无法拉取,故障停在 Pod 创建阶段;如果容器能启动但 readinessProbe 持续失败,新 Pod 通常不会成为正常流量目标;如果探针过早成功,应用可能尚未完成缓存预热、连接池建立或依赖初始化,却已经开始承接请求,用户就会看到错误率或延迟上升。
另一类问题发生在标签边界。新版 Pod 即使健康,只要 Service selector 与 Pod 标签不再匹配,就不会被该 Service 对应的 EndpointSlice 跟踪;反过来,错误标签也可能把不应接流量的实例纳入端点。遇到未就绪端点时,还必须同时检查 publishNotReadyAddresses 等 Service 配置,避免把默认行为误当成固定规则。
按用户现象反推检查位置
发布后若新 Pod 大量处于 ImagePullBackOff 或 CrashLoopBackOff,优先检查镜像、启动命令、环境变量和挂载配置。Pod 为 Running 但长期 0/1 Ready 时,重点检查 readinessProbe 以及应用依赖是否真正可用。
如果所有 Pod 都 Ready,但 Service 请求没有到达新版实例,应继续检查标签、Service selector 和 EndpointSlice。若端点集合正常而错误率只在切换瞬间升高,则重点审查探针是否过早放行、终止中的 Pod 是否仍有存量连接,以及应用是否正确处理连接排空。
把滚动发布理解为一条从期望状态到真实请求的故障链路后,排障顺序就会更稳定:先定位异常首次出现的层级,再沿控制关系或流量关系向下验证,最后用真实请求确认恢复。