容器与云原生 / 系统课时

排查抢占与 PDB 冲突

排查抢占与 PDB 冲突

高优先级 Pod 长时间 Pending 时,即使集群里存在低优先级 Pod,也不代表抢占一定能释放出可用节点。排查需要同时检查 Priority、调度失败原因、抢占候选节点、PodDisruptionBudget 以及被选中 Pod 的终止过程,判断卡点究竟发生在候选计算、PDB 约束还是资源释放阶段。

学习目标

  • 从调度事件判断高优 Pod 是否进入抢占流程以及为什么仍无法调度
  • 理解 Priority、抢占候选和 PDB 在调度器中的关系
  • 区分“找不到可抢占对象”和“已经抢占但资源尚未释放”两类问题

从 Pending Pod 的调度事件开始

先不要从 PDB 猜原因。第一步应确认 Pod 为什么无法正常调度,以及调度器是否认为抢占能够帮助它。

bash
kubectl describe pod <HIGH_PRIORITY_POD> -n <NAMESPACE>
kubectl get pod <HIGH_PRIORITY_POD> -n <NAMESPACE> -o jsonpath='{.spec.priorityClassName}{"\t"}{.spec.priority}{"\t"}{.spec.preemptionPolicy}{"\n"}'

预期输出

text
<PRIORITY_CLASS>	<PRIORITY>	<PREEMPTION_POLICY>

在 describe 的 Events 中,重点观察 FailedScheduling 以及和 preemption 相关的信息。事件文本会随 Kubernetes 版本和失败组合而变化,因此不要依赖固定句子;应判断它表达的是“抢占无帮助”“没有合适受害者”,还是已经选中节点并等待资源释放。

还要检查 preemptionPolicy。值为 Never 的高优先级 Pod 仍会在正常调度排序中享受高 Priority,但不会主动抢占低优先级 Pod。

理解抢占与 PDB 怎样一起参与候选选择

抢占发生在普通调度无法找到可行节点之后。调度器会评估:如果从某个节点移除一组优先级更低的 Pod,待调度 Pod 是否能满足资源和其他硬约束。能满足的节点才可能成为抢占候选。

PodDisruptionBudget 不会把抢占变成绝对禁止。调度器在选择受害者时会尽量寻找较少违反 PDB 的方案,但如果不存在完全满足 PDB 的可行方案,抢占仍可能选择会导致 PDB 违反的受害者。因此,把 PDB 理解为抢占的硬性锁是不准确的。

高优 Pod 抢占与 PDB 候选选择关系

这也解释了两个常见误判:一是“有低优 Pod 就一定能抢占”,实际上删除这些 Pod 后仍可能不满足 node affinity、taint、拓扑或资源需求;二是“配置 PDB 就一定不会被抢占”,实际上 PDB 主要影响调度器选择受害者的偏好,并非对抢占提供绝对保护。

检查 PDB 是否正在收紧可选方案

列出命名空间中的 PDB,并查看目标工作负载对应预算:

bash
kubectl get pdb -n <NAMESPACE>
kubectl describe pdb <PDB_NAME> -n <NAMESPACE>

预期输出

text
NAME         MIN AVAILABLE   MAX UNAVAILABLE   ALLOWED DISRUPTIONS   AGE
<PDB_NAME>   <VALUE>         <VALUE>           <VALUE>               <VALUE>

ALLOWED DISRUPTIONS 为 0 表示按当前健康副本数和预算计算,没有可主动容忍的额外 disruption。它是重要信号,但仍不能单独证明 Pending Pod 就是被 PDB 阻塞,因为调度器还必须同时满足节点资源和全部硬调度约束。

进一步查看 PDB 选择器和状态:

bash
kubectl get pdb <PDB_NAME> -n <NAMESPACE> -o jsonpath='{.spec.selector}{"\n"}{.status.currentHealthy}{"\t"}{.status.desiredHealthy}{"\t"}{.status.disruptionsAllowed}{"\n"}'

预期输出

text
<SELECTOR>
<CURRENT_HEALTHY>	<DESIRED_HEALTHY>	<DISRUPTIONS_ALLOWED>

如果预算比业务真正需要的可用性目标更严格,应重新评估 minAvailable 或 maxUnavailable,但不能为了让抢占成功就随意放宽。PDB 是可用性策略,修改前要确认副本数量、故障域和业务最低健康容量。

判断抢占到底有没有用

当调度器报告 preemption 无帮助时,应把注意力放回硬约束。一个节点即使删除全部低优先级 Pod,也可能因为节点标签、污点、Pod 亲和或反亲和、Topology Spread Constraints,或者某种扩展资源不足而仍然不可行。

用 describe 汇总失败原因,并检查节点实际可分配资源:

bash
kubectl describe pod <HIGH_PRIORITY_POD> -n <NAMESPACE>
kubectl describe node <NODE>

预期输出

text
Events:
  Type     Reason            Age      From               Message
  Warning  FailedScheduling  <TIME>   default-scheduler  <SCHEDULING_FAILURE_MESSAGE>

如果失败信息同时包含多类原因,要逐项判断哪些能通过删除低优 Pod 消除。例如 Insufficient cpu 可能通过抢占解决,而“不匹配 node affinity”不会因为抢占改变。只有删除低优 Pod 后节点能够满足待调度 Pod 的全部硬条件,抢占才有意义。

已经选中节点时检查终止过程

抢占并不是瞬间把资源交给高优 Pod。调度器选择受害者后,被抢占 Pod 仍要经历终止流程;如果它们配置了较长的 terminationGracePeriodSeconds,或者应用在退出钩子中迟迟不结束,高优 Pod 可能在这段时间继续保持 Pending。

可以查看高优 Pod 是否出现 nominated node,以及低优先级 Pod 是否正在终止:

bash
kubectl get pod <HIGH_PRIORITY_POD> -n <NAMESPACE> -o jsonpath='{.status.nominatedNodeName}{"\n"}'
kubectl get pods -A --field-selector spec.nodeName=<NODE> -o wide

预期输出

text
<NODE>

nominatedNodeName 是调度器关于潜在目标节点的状态提示,不等同于已经完成绑定;在后续调度周期中它也可能变化或被清除。因此应继续观察受害 Pod 是否完成终止,以及高优 Pod 最终是否获得 spec.nodeName。

bash
kubectl get pod <HIGH_PRIORITY_POD> -n <NAMESPACE> -w

预期输出

text
NAME                  READY   STATUS    RESTARTS   AGE
<HIGH_PRIORITY_POD>   0/1     Pending   0          <VALUE>
<HIGH_PRIORITY_POD>   0/1     ContainerCreating   0   <VALUE>
<HIGH_PRIORITY_POD>   1/1     Running             0   <VALUE>

实际状态转换可能包含更多中间阶段。关键验证是受害者完成终止后,高优 Pod 能否真正绑定并进入运行状态。

按卡点选择修复方向

如果 preemptionPolicy=Never,应先确认这是有意的策略;如果抢占无帮助,就修正真正的硬约束或增加满足条件的节点容量;如果 PDB 让调度器难以找到低破坏性的方案,应检查预算是否与副本规模和可用性目标匹配;如果抢占已经发生但资源迟迟不释放,则应检查受害 Pod 的终止宽限期、退出逻辑和节点状态。

修复后再次观察高优 Pod 的事件和绑定结果:

bash
kubectl get pod <HIGH_PRIORITY_POD> -n <NAMESPACE> -o wide
kubectl get events -n <NAMESPACE> --field-selector involvedObject.name=<HIGH_PRIORITY_POD> --sort-by=.lastTimestamp

预期输出

text
NAME                  READY   STATUS    NODE     AGE
<HIGH_PRIORITY_POD>   1/1     Running   <NODE>   <VALUE>

最终目标不是让一次抢占“成功”,而是确认优先级策略、PDB 可用性预算和集群容量彼此一致。高优 Pod 经常依赖抢占才能启动,通常意味着容量余量或工作负载资源模型仍值得继续治理。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

排查抢占与 PDB 冲突

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通