容器与云原生 / 技术文章
Kubernetes Scheduler 怎么选择节点
同一个 Pod 面对多台节点时,为什么最终落在 Node B,而不是 CPU 更空闲的 Node A?这篇文章面向需要解释 Kubernetes 调度结果、设计工作负载放置策略的平台工程师和 SRE,从 Scheduler 实际执行的 Filter、Score 到 Bind 链路拆解决策过程,最终让你能够区分硬约束与偏好、判断节点为什么被淘汰,并解释胜出节点的来源。
Scheduler 不是在所有节点里直接挑一台
kube-scheduler 的核心任务,是为尚未指定 spec.nodeName、且由对应 Scheduler 负责的 Pod 找到一个可接受的 Node,并把选择结果写回 Kubernetes API。
理解这个过程最重要的一点是:节点选择不是一次排序,而是先过滤、再评分。
可以把一次典型调度决策抽象为:
Pending Pod
|
v
PreFilter
|
v
Filter --------> 没有可行节点 ----> PostFilter / 可能尝试抢占
|
| 得到 feasible nodes
v
PreScore
|
v
Score + NormalizeScore + plugin weights
|
v
选择最高综合得分节点
|
v
Reserve -> Permit -> PreBind -> Bind -> PostBind其中,Filter 回答的是“这台节点能不能放”,Score 回答的是“在能放的节点中更应该放哪台”。把这两个问题混在一起,是分析调度结果时最常见的误区。
Filter 先淘汰违反硬约束的节点
Scheduler 不会给所有节点直接计算一个总分。进入评分之前,每个候选节点必须先通过启用的 Filter 插件。只要某个硬约束不满足,这个节点就会被判定为不可行,不再参与后续评分。
常见过滤条件来自多个维度。例如 NodeResourcesFit 会判断节点可用于调度的资源是否能够容纳 Pod 的资源请求;节点亲和性相关插件会检查 nodeSelector 和 required node affinity;TaintToleration 会检查 Pod 是否容忍节点上的 NoSchedule 污点;PodTopologySpread、Pod affinity/anti-affinity 和卷拓扑相关插件也可能排除候选节点。
因此,一个拥有大量空闲 CPU 的节点仍然可能在 Filter 阶段直接出局。假设 Pod 定义如下:
apiVersion: v1
kind: Pod
metadata:
name: checkout
spec:
containers:
- name: app
image: registry.k8s.io/pause:3.10
resources:
requests:
cpu: 500m
memory: 512Mi
nodeSelector:
workload: application
tolerations:
- key: dedicated
operator: Equal
value: application
effect: NoScheduleNode A 即使还有 8 核 CPU,只要没有 workload=application 标签,就无法通过节点选择约束;Node B 资源只剩 2 核,但标签、污点和资源条件全部满足,仍然可以进入下一阶段。
这也解释了为什么分析 Pending Pod 时,首先应该读取 FailedScheduling 事件,而不是只看节点 CPU 和内存利用率。Scheduler 报告的 Insufficient cpu、不匹配 node affinity、存在未容忍 taint 等原因,本质上是在告诉你哪些 Filter 条件没有通过。
Score 只比较已经可行的节点
假设集群有 100 台节点,经过 Filter 后只剩 Node B、Node C 和 Node D,那么 Score 阶段只需要比较这三个可行节点。
多个 Score 插件可以从不同角度评价节点。例如资源类评分可能倾向于把工作负载分散到剩余资源更多的节点,也可以通过 Scheduler 配置采用更偏向装箱的策略;节点亲和性的 preferred 条件可以提高匹配节点的得分;污点容忍、Pod 间亲和性以及 topology spread 等机制也可以参与评分。
每个 Score 插件产生自己的节点得分,必要时经过 NormalizeScore 归一化,然后按照 Scheduler profile 中配置的权重计算综合结果。可以用一个简化模型理解:
其中 是第 个评分插件对节点的评分, 是对应插件权重。最终比较的是加权后的综合得分,而不是某一个指标。
假设三个节点的简化评分如下:
| 节点 | 资源评分 | 节点亲和评分 | 拓扑分布评分 | 综合结果 |
|---|---|---|---|---|
| Node B | 70 | 100 | 30 | 200 |
| Node C | 90 | 20 | 80 | 190 |
| Node D | 50 | 60 | 100 | 210 |
如果这些分值已经体现相同权重,那么 Node D 会胜出,即使它的资源评分最低。这就是为什么“选择 CPU 最空闲的节点”并不能正确描述 Kubernetes Scheduler。
当多个节点取得相同的最高排名时,Scheduler 会从这些最高排名节点中选择一个,因此也不应该依赖同分情况下某个固定节点名称或列表顺序来设计业务语义。
required 和 preferred 决定约束发生在哪个阶段
设计放置策略时,一个非常实用的判断方法是先问:这个条件是“必须满足”,还是“满足更好”?
以 node affinity 为例,requiredDuringSchedulingIgnoredDuringExecution 属于硬约束,会影响 Filter;不满足条件的节点根本没有评分资格。preferredDuringSchedulingIgnoredDuringExecution 则属于偏好,通过权重影响候选节点排名,但即使没有节点满足偏好,Pod 仍可能调度到其他通过硬约束的节点。
例如:
apiVersion: v1
kind: Pod
metadata:
name: api
spec:
affinity:
nodeAffinity:
requiredDuringSchedulingIgnoredDuringExecution:
nodeSelectorTerms:
- matchExpressions:
- key: workload
operator: In
values:
- application
preferredDuringSchedulingIgnoredDuringExecution:
- weight: 80
preference:
matchExpressions:
- key: topology.kubernetes.io/zone
operator: In
values:
- zone-a
containers:
- name: app
image: registry.k8s.io/pause:3.10这里 workload=application 决定节点是否有资格,而 zone-a 只是提高对应节点的竞争力。如果 zone-a 中没有满足硬约束的可行节点,Scheduler 可以选择其他可行区域,而不会仅仅为了 preferred 条件让 Pod 永久 Pending。
同样的思路也适用于拓扑分布等策略:先判断字段表达的是不可违反的调度门槛,还是用于候选节点排序的倾向,再判断它作用于过滤还是评分阶段。
没有节点通过 Filter 时不会进入正常 Score
如果 Filter 之后可行节点集合为空,问题已经不是“哪台节点得分最高”,因为根本没有节点获得评分资格。Scheduler 会进入 PostFilter 阶段,某些插件可以尝试让 Pod 重新变得可调度,典型场景就是优先级抢占。
但抢占也不是无条件删除低优先级 Pod。Scheduler 需要判断移除某些低优先级 Pod 后,待调度 Pod 是否真的能够通过原先失败的约束。如果根因是 required node affinity 不匹配、节点存在无法容忍的 taint,或者卷拓扑条件无法满足,单纯释放 CPU 和内存并不能解决问题。
线上遇到 Pending 时,可以先获取调度事件:
kubectl describe pod checkout
kubectl get events --field-selector involvedObject.kind=Pod,involvedObject.name=checkout --sort-by=.lastTimestamp预期关注的是 Scheduler 给出的失败组合,而不是寻找单一错误。例如:
Warning FailedScheduling default-scheduler 0/6 nodes are available: 2 Insufficient cpu, 2 node(s) didn't match Pod's node affinity/selector, 2 node(s) had untolerated taint.这段信息应按 Filter 语义读取:6 台节点被不同硬约束分别淘汰。只有先解决至少一条完整的可行路径,让某台节点同时通过所有必要条件,Pod 才能进入正常评分阶段。
选中节点之后仍然没有结束
Score 得出最高排名节点后,一次调度仍要经过后续的 Reserve、Permit、PreBind 和 Bind 等扩展点。Scheduling Framework 将调度过程拆成 scheduling cycle 与 binding cycle,使插件能够在真正写入绑定关系前执行资源预留、等待许可或绑定前处理。
Reserve 可以为即将使用的节点维护插件状态;如果后续失败,对应 Unreserve 用于撤销预留。Permit 可以批准、拒绝或暂时等待一次绑定。PreBind 可以执行绑定前必须完成的工作。最终 Bind 插件把 Pod 与选中的 Node 建立绑定关系,成功后进入 PostBind。
所以“Scheduler 已经计算出最佳节点”和“Pod 已经成功绑定”并不是完全相同的状态。排查复杂调度扩展、动态资源或自定义 Scheduler 插件时,这个区别尤其重要。
用过滤和评分模型解释调度结果
面对一个不符合预期的节点选择结果,可以固定按照同一顺序推理:先列出 Pod 的硬约束,确认哪些节点能够通过 Filter;再只对这些可行节点分析 preferred affinity、资源策略、拓扑分布等评分因素;最后检查 Scheduler profile 是否修改了默认插件或权重,并确认 Bind 前后的扩展点没有阻止调度完成。
如果你预期 Pod 落到 Node A,却实际落到 Node B,先问“Node A 是否通过全部 Filter”,而不是先比较两台机器的剩余 CPU。如果 Node A 已经被硬约束排除,它的任何评分优势都没有意义;如果两台节点都通过 Filter,再去比较各 Score 插件及权重,才是在分析真正决定胜负的因素。
因此,设计生产放置策略时也应该遵循同样的边界:用 required 规则、资源请求和污点等机制表达真正不可违反的条件,用 preferred 规则和评分策略表达可退让的目标。这样既能控制工作负载的安全边界,又能给 Scheduler 留出足够的候选空间,在容量变化时继续找到可行节点。