容器与云原生 / 技术文章

Kubernetes Pod Pending 与驱逐怎么排查

Pod 发布后长期停在 Pending,或已经运行的 Pod 突然被驱逐,是值班中最容易混在一起处理的两类故障。面向负责 Kubernetes 发布与稳定性的 SRE、平台工程师,这套排查路径先判断故障发生在调度前还是运行后,再用 Events、调度约束、Node Conditions 和资源信号收敛根因,最终得到可以执行并验证的恢复动作。

第一判断:Pod 到底有没有绑定节点

看到 Pending 时,不要立即把原因归结为“资源不足”。Pod 的 phase 只能描述当前状态,真正决定排查方向的是它有没有绑定 Node,以及 Events 中是谁在报告问题。

先执行:

bash
kubectl get pod <POD> -n <NAMESPACE> -o wide
kubectl get pod <POD> -n <NAMESPACE> -o jsonpath='{.spec.nodeName}{"\n"}'
kubectl describe pod <POD> -n <NAMESPACE>

如果 .spec.nodeName 为空,并且 Events 中持续出现 FailedScheduling,问题位于 Scheduler 选择节点阶段,应沿资源和调度约束排查。如果 .spec.nodeName 已经存在,则 Pod 已完成绑定;此时即使 Pod 仍显示 Pending,也可能是在等待镜像、卷挂载、容器启动或其他节点侧条件,不能继续按照纯调度故障处理。

对于已经消失、失败或显示 Evicted 的 Pod,则重点转向运行期:检查 status.reason、Pod Events、所在 Node 的 Conditions 以及驱逐前后的资源压力。

bash
kubectl get pod <POD> -n <NAMESPACE> -o jsonpath='{.status.phase}{"\t"}{.status.reason}{"\t"}{.status.message}{"\n"}'
kubectl get events -n <NAMESPACE> --field-selector involvedObject.name=<POD> --sort-by='.lastTimestamp'

预期结果不是某个固定字符串,而是先把故障归入两条互斥的主路径:未绑定节点的调度失败,或已经绑定节点后的运行期异常。

Pending:先让 FailedScheduling 告诉你哪些节点被淘汰

未绑定节点的 Pod 长期 Pending 时,最有价值的第一手证据通常是 FailedScheduling Event。Scheduler 已经替你执行过一次过滤,事件中的原因就是继续调查的入口。

bash
kubectl describe pod <POD> -n <NAMESPACE>
kubectl get events -n <NAMESPACE> --field-selector involvedObject.name=<POD> --sort-by='.lastTimestamp'

典型输出可能类似:

text
Warning  FailedScheduling  <TIME>  default-scheduler  0/6 nodes are available: 3 Insufficient cpu, 2 node(s) didn't match Pod's node affinity/selector, 1 node(s) had untolerated taint.

不要只看最后一个原因。0/6 nodes 后面的多项条件意味着不同节点可能分别被不同规则过滤,修复其中一项也不一定就能产生可行节点。

出现 Insufficient cpu、Insufficient memory 或扩展资源不足时,应比较 Pod 的 requests 与节点可分配资源,而不是只看节点当前 CPU、内存利用率。Scheduler 进行资源可行性判断时关注的是已经申请的 requests 与可分配容量。

bash
kubectl get pod <POD> -n <NAMESPACE> -o yaml
kubectl describe node <NODE>

在 Pod 中重点查看 resources.requests,在 Node 中重点查看 Allocatable 以及 Allocated resources。一个节点即使监控曲线显示 CPU 使用率很低,也可能因为已承诺的 CPU requests 较高而无法再接收 Pod。

如果事件指向 node affinity/selector,继续核对 Pod 的 nodeSelector、required nodeAffinity 与节点标签;如果指向 untolerated taint,同时检查 Node taints 和 Pod tolerations;如果涉及 topology spread、Pod affinity/anti-affinity,则检查目标拓扑域是否还存在满足硬约束的位置。

bash
kubectl get nodes --show-labels
kubectl describe node <NODE> | grep -A 5 '^Taints:'
kubectl get pod <POD> -n <NAMESPACE> -o yaml

还有一类 Pending 并不是 Scheduler 已经尝试后失败。如果 Pod 配置了尚未移除的 schedulingGates,它还没有进入正常节点选择流程,因此不能把“没有 FailedScheduling”误判成 Scheduler 异常。

bash
kubectl get pod <POD> -n <NAMESPACE> -o jsonpath='{.spec.schedulingGates}{"\n"}'

Pending 还要排除存储和启动链路

只要 Pod 已经拥有 .spec.nodeName,排查重点就应离开 Scheduler。此时 Pending 常见于卷还未挂载、镜像拉取失败、容器配置错误或 sandbox 创建异常。

bash
kubectl describe pod <POD> -n <NAMESPACE>
kubectl get pod <POD> -n <NAMESPACE> -o wide
kubectl get pvc -n <NAMESPACE>

Events 中如果出现 FailedMount、FailedAttachVolume、ErrImagePull、ImagePullBackOff 或 sandbox 创建失败,应沿对应组件继续调查,而不是调整 requests、affinity 或 taint。

对 PVC 相关问题还要区分“卷本身没有完成绑定”和“Pod 已经选定节点但卷无法附加或挂载”。例如:

bash
kubectl get pvc <PVC> -n <NAMESPACE> -o wide
kubectl describe pvc <PVC> -n <NAMESPACE>
kubectl get pv

预期结果是明确 PVC 是否为 Bound,以及 Events 是否存在 provision、attach 或 mount 阶段错误。只有证据再次指向节点选择约束时,才返回 Scheduler 路径。

Evicted:从 Pod 原因追到节点压力证据

Pod 的 status.reason=Evicted 表明它经历了驱逐,但“被驱逐”仍然不是完整根因。对于节点压力驱逐,需要继续确定紧缺的是 memory、ephemeral storage、inode 还是 PID,并检查 Node 在同一时间窗口出现的压力状态与事件。

bash
kubectl get pod <POD> -n <NAMESPACE> -o jsonpath='{.status.reason}{"\n"}{.status.message}{"\n"}'
kubectl describe node <NODE>
kubectl get events --field-selector involvedObject.kind=Node,involvedObject.name=<NODE> --sort-by='.lastTimestamp'

重点检查 MemoryPressure、DiskPressure、PIDPressure,以及 Pod message 中是否给出了达到驱逐阈值时的资源信号。节点压力驱逐由 kubelet 在节点侧执行,因此排查时必须把 Pod 与它当时所在的 Node 放在同一条时间线上。

以磁盘压力为例,仅检查业务数据盘剩余容量可能不够。容器镜像、可写层、Pod 日志和本地临时存储可能落在不同的文件系统布局中,应结合节点运行时和 kubelet 实际使用的文件系统确认空间与 inode 消耗。

如果是内存压力,也不要简单使用“BestEffort 一定先于 Burstable、Guaranteed”作为根因判断。节点压力驱逐的实际排序还会考虑 Pod 对紧缺资源的使用是否超过 request、Pod Priority,以及使用量相对 request 的程度;QoS 更适合用来理解风险特征,而不是代替现场证据。

可以同时查看 Pod 的资源定义与优先级:

bash
kubectl get pod <POD> -n <NAMESPACE> -o jsonpath='{.status.qosClass}{"\t"}{.spec.priority}{"\n"}'
kubectl get pod <POD> -n <NAMESPACE> -o yaml

不要把 Eviction、OOMKilled 和主动删除混为一谈

容器因为超过内存 limit 被内核 OOM Kill,与 kubelet 因节点资源压力驱逐整个 Pod,是不同的故障链。前者通常需要检查 container status 的 terminated reason,后者则从 Pod 的 Evicted 原因和 Node 压力证据入手。

bash
kubectl get pod <POD> -n <NAMESPACE> -o jsonpath='{range .status.containerStatuses[*]}{.name}{"\t"}{.state.terminated.reason}{"\t"}{.lastState.terminated.reason}{"\n"}{end}'

如果看到 OOMKilled,继续核对容器 memory limit、实际使用峰值和应用内存行为;如果 Pod reason 为 Evicted,则回到 kubelet 驱逐与节点资源压力路径。一个容器反复 OOMKilled 后由控制器继续拉起,也不等价于 Pod 因节点压力被驱逐。

还要区分通过 Eviction API 发起的主动中断,例如节点 drain,与节点压力驱逐。前者通常涉及 PodDisruptionBudget 等主动中断控制;节点发生资源耗尽时的 kubelet 驱逐则不能依赖 PDB 来阻止。值班时如果恰逢升级、缩容或维护窗口,应同步核对运维动作和 Node 事件,避免把计划内 drain 当作资源故障。

用一条证据链决定修复动作

生产排障最危险的做法,是看到 Pending 就扩容、看到 Evicted 就提高 limit。恢复动作应与已经确认的证据一一对应。

如果 FailedScheduling 明确显示 requests 超过剩余可调度容量,可以降低不合理的 requests、释放容量或扩充目标节点池;如果是 required affinity、nodeSelector、taint/toleration 或 topology spread 形成不可满足组合,应修正放置策略,而不是盲目增加普通节点;如果 PVC 或镜像链路失败,应修复存储或镜像问题。

对于节点压力驱逐,先恢复紧缺资源,再处理为什么节点会进入压力状态。例如磁盘问题可能需要清理异常日志、镜像或临时数据并修复容量治理;内存压力则需要识别超 request 工作负载、节点过载或容量配置问题。直接重新创建 Pod 只能恢复副本,不能证明故障已经解除。

修复后重新执行同一组证据检查:

bash
kubectl get pods -n <NAMESPACE> -o wide
kubectl get events -n <NAMESPACE> --sort-by='.lastTimestamp'
kubectl describe pod <POD> -n <NAMESPACE>
kubectl describe node <NODE>

验证标准应至少包括:原 Pending Pod 或新副本已经成功绑定并进入预期运行状态;不再产生相同的 FailedScheduling;目标 Node 的压力 Condition 已恢复或明确处于可接受状态;观察窗口内没有继续出现同类 Evicted Pod。这样才能把“Pod 又跑起来了”提升为“根因已被验证并解除”。

目录与阅读设置

记录一个想法

Kubernetes Pod Pending 与驱逐怎么排查

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通