容器与云原生 / 技术文章

Kubernetes 滚动发布卡住怎么排查

负责 Kubernetes 发布值班时,最棘手的情况往往不是明确报错,而是 Deployment 一直处于更新中:新副本没有完全可用,旧副本也没有完全退出,发布流水线最终超时。下面给出一条面向 SRE、平台工程师和运维工程师的现场排查路径,目标是在尽量少改动现场的前提下,先判断发布究竟卡在哪一层,再决定继续等待、暂停发布还是回退版本。

先确认是真的“卡住”,还是仍在正常推进

不要看到 kubectl rollout status 等待几十秒就立刻回退。第一步应确认 Deployment 的期望副本、已更新副本和可用副本是否还在变化。

bash
kubectl rollout status deployment/<DEPLOYMENT> -n <NAMESPACE> --timeout=30s
kubectl get deployment/<DEPLOYMENT> -n <NAMESPACE> -o wide
kubectl get deployment/<DEPLOYMENT> -n <NAMESPACE> -o jsonpath='{.spec.replicas}{" desired\n"}{.status.updatedReplicas}{" updated\n"}{.status.availableReplicas}{" available\n"}{.status.unavailableReplicas}{" unavailable\n"}'

重点看四个数字。spec.replicas 是期望副本数,updatedReplicas 是已经使用新 Pod template 的副本数,availableReplicas 是已经满足可用条件的副本数,unavailableReplicas 则反映当前尚不可用的容量。

如果 updatedReplicas 持续增加,同时 availableReplicas 也在增加,通常只是新 Pod 启动较慢,发布仍在推进。如果这些数字长时间保持不变,就应进入下一层排查。

还要检查 Deployment condition,而不是只看命令是否超时。

bash
kubectl describe deployment/<DEPLOYMENT> -n <NAMESPACE>

典型异常包括 ProgressDeadlineExceeded,它表示控制器在 progressDeadlineSeconds 规定的窗口内没有观察到新的发布进展。这个 condition 是“发布缺乏进展”的信号,不等于 Kubernetes 已自动回退版本。

找到没有收敛的 ReplicaSet 和 Pod

Deployment 本身通常只告诉你“没有完成”,真正的故障证据往往在 ReplicaSet 和 Pod。

bash
kubectl get rs -n <NAMESPACE> -l app=<APP_LABEL> -o wide
kubectl get pods -n <NAMESPACE> -l app=<APP_LABEL> -o wide

先区分两种状态:新 ReplicaSet 没有扩到目标数量,或者新 ReplicaSet 已经创建足够 Pod,但这些 Pod 没有变成 Available。前者更容易指向调度、配额或滚动更新容量约束,后者通常指向镜像、启动、探针或应用自身问题。

对异常 Pod 继续读取状态和事件:

bash
kubectl describe pod/<POD> -n <NAMESPACE>
kubectl get events -n <NAMESPACE> --sort-by=.lastTimestamp

值班现场不需要一开始就把所有日志全部下载下来。优先依据 Pod 当前状态分流,通常能最快缩小范围:Pending 查调度,ErrImagePull 或 ImagePullBackOff 查镜像,CrashLoopBackOff 查进程退出,Running 但 Ready=False 查就绪条件和依赖。

Pending、镜像失败和反复重启要分开处理

如果新 Pod 是 Pending,重点不是 Deployment,而是 Scheduler 为什么找不到可运行节点。describe pod 的 Events 通常会直接给出拒绝原因,例如 CPU 或内存不足、节点选择规则不匹配、Taint 无对应 toleration,或者 Pod 间亲和性条件无法满足。

bash
kubectl describe pod/<POD> -n <NAMESPACE>
kubectl get nodes
kubectl describe node/<NODE>

滚动更新中尤其要留意 maxSurge 带来的额外容量需求。日常运行时四个副本能放得下,不代表发布时第五个 surge Pod 也一定能调度成功。如果 maxUnavailable=0,控制器又不能先删除旧 Pod 腾容量,就可能形成“新 Pod 调度不了,旧 Pod 又不能减少”的僵局。

如果状态是 ErrImagePull 或 ImagePullBackOff,检查镜像地址、tag、镜像仓库连通性和拉取凭据。此时继续修改 readinessProbe 没有意义,因为容器根本没有成功启动。

如果 Pod 进入 CrashLoopBackOff,读取当前状态、上一次退出状态以及 previous logs:

bash
kubectl get pod/<POD> -n <NAMESPACE> -o jsonpath='{.status.containerStatuses[*].lastState}'
kubectl logs pod/<POD> -n <NAMESPACE> --previous

重点判断是否存在应用异常退出、OOMKilled、配置缺失、依赖连接失败,或者 startup/liveness probe 触发重启。先确认“是谁让容器退出”,再决定调整资源、配置、探针还是应用版本。

Running 不等于可用,重点检查 Ready 为什么上不去

很多滚动发布卡住时,新 Pod 看起来已经是 Running,但 Deployment 的 availableReplicas 始终不上升。这时应该检查 Pod Conditions 和 probe 事件。

bash
kubectl get pod/<POD> -n <NAMESPACE> -o jsonpath='{range .status.conditions[*]}{.type}{"="}{.status}{" reason="}{.reason}{"\n"}{end}'
kubectl describe pod/<POD> -n <NAMESPACE>

如果 Ready=False,确认 readinessProbe 检查的究竟是应用自身是否能接流量,还是把数据库、Redis、第三方 API 等共享依赖也纳入了就绪条件。共享依赖短暂抖动时,多个 Pod 同时变为 NotReady,可能让滚动发布表现为长期无法收敛。

还要区分 Ready 与 Available。配置了 minReadySeconds 后,Pod 即使已经 Ready,也需要持续稳定达到指定时间,才会被 Deployment 计入 Available。如果 Pod 在观察窗口内反复 Ready/NotReady,稳定计时会重新开始,发布可能因此一直无法推进。

如果 readinessProbe 实际通过,但应用仍无法承接真实请求,应继续检查探针是否只验证了过于浅层的存活状态。发布控制器只能依据 Kubernetes 暴露出的状态推进,无法自动判断业务接口是否真正健康。

新 Pod 正常时,再看旧 Pod 为什么迟迟不退出

还有一种常见现象是新 Pod 已经正常可用,但旧 ReplicaSet 一直保留副本。此时应检查滚动更新参数,以及旧 Pod 是否长时间停在 Terminating。

bash
kubectl get deployment/<DEPLOYMENT> -n <NAMESPACE> -o yaml
kubectl get pods -n <NAMESPACE> -l app=<APP_LABEL>
kubectl describe pod/<OLD_POD> -n <NAMESPACE>

如果旧 Pod 已进入 Terminating,重点检查 preStop、terminationGracePeriodSeconds 和应用收到 SIGTERM 后的退出行为。preStop 执行过久、应用一直等待长连接、后台任务无法结束,都会让旧副本缩容变慢。

同时检查是否存在 PodDisruptionBudget、finalizer 或其他控制器行为影响删除。不要因为 Pod 长时间 Terminating 就直接使用强制删除;强制终止可能中断正在处理的请求或后台任务,应先确认它是否已经从 Service 可服务端点中摘除,并评估业务影响。

用事件时间线判断该继续、暂停还是回退

现场排障的目标不是一定要“修好这个 Pod”,而是尽快恢复可控的发布状态。完成前面的分层定位后,可以按故障是否与新版本相关来做决策。

如果只是集群临时容量不足、镜像仓库短暂异常等外部原因,而且旧版本仍保持足够可用副本,可以暂停发布,先修复基础设施问题,再恢复 rollout。

bash
kubectl rollout pause deployment/<DEPLOYMENT> -n <NAMESPACE>
kubectl rollout resume deployment/<DEPLOYMENT> -n <NAMESPACE>

如果异常从新 ReplicaSet 出现后开始,并且新 Pod 持续 CrashLoop、探针失败、错误率升高或核心接口不可用,就应优先保护业务,而不是继续等 Deployment 自己收敛。先查看可回退版本:

bash
kubectl rollout history deployment/<DEPLOYMENT> -n <NAMESPACE>

确认目标 revision 后执行回退:

bash
kubectl rollout undo deployment/<DEPLOYMENT> -n <NAMESPACE> --to-revision=<REVISION>
kubectl rollout status deployment/<DEPLOYMENT> -n <NAMESPACE>

回退之后仍需重新检查 Pod Ready、Available 副本数以及业务错误率。rollout undo 只是重新采用历史 Pod template 并启动一次新的滚动更新,不代表回退命令返回后业务就已经恢复。

值班排障要留下能解释故障的证据链

一次有效的滚动发布排障,最后应该能够回答四个问题:Deployment 为什么没有继续推进、具体哪个 Pod 或 ReplicaSet 阻塞了收敛、阻塞原因属于调度/镜像/启动/探针/终止中的哪一层,以及恢复动作为什么不会进一步扩大影响。

建议在变更恢复前保存 Deployment、ReplicaSet、异常 Pod、Events 和关键日志。这样即使最终通过回退恢复业务,也能在复盘时区分是应用版本缺陷、资源容量不足、探针配置错误还是终止逻辑问题。

bash
kubectl get deployment/<DEPLOYMENT> -n <NAMESPACE> -o yaml > deployment.yaml
kubectl get rs -n <NAMESPACE> -l app=<APP_LABEL> -o yaml > replicasets.yaml
kubectl describe pod/<POD> -n <NAMESPACE> > pod-describe.txt
kubectl get events -n <NAMESPACE> --sort-by=.lastTimestamp > events.txt
kubectl logs pod/<POD> -n <NAMESPACE> --all-containers=true > pod.log

真正适合值班现场的顺序是:先判断 rollout 是否仍有进展,再定位异常 ReplicaSet 与 Pod,然后按 Pod 状态分流排查,最后结合业务影响选择继续、暂停或回退。这样可以避免在尚未确认根因时反复修改 Deployment,也能把“发布卡住”从一个模糊现象收敛成可验证、可恢复的具体故障。

目录与阅读设置

记录一个想法

Kubernetes 滚动发布卡住怎么排查

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通