容器与云原生 / 系统课时
理解 maxSkew 与不可调度行为
理解 maxSkew 与不可调度行为
本节解决一个常见误判:maxSkew: 1 并不等于“所有 zone 的副本数永远最多差 1”。真正的判定还取决于 eligible domains、Pod 自身的节点选择条件、whenUnsatisfiable,以及 minDomains 是否把全局最小值压到 0。
学习目标
- 能按 eligible domains 和全局最小值判断
DoNotSchedule是否允许候选节点 - 能区分
DoNotSchedule的硬过滤与ScheduleAnyway的软评分 - 能说明
nodeSelector、必需节点亲和性与minDomains如何改变偏差计算基线
maxSkew 如何判定候选域
在 whenUnsatisfiable: DoNotSchedule 下,调度器对候选节点做假设放置,计算该节点所在拓扑域的匹配 Pod 数,并与 eligible domains 中的全局最小值比较。候选域的偏差不超过 maxSkew 时,这条拓扑分布约束才不会过滤该节点。
例如三个 eligible zone 当前有 3/1/1 个匹配 app=api 的 Pod,maxSkew: 1。放到 zone-b 后目标域为 2,全局最小值仍为 1,偏差为 1,可以通过;放到 zone-a 后目标域为 4,偏差为 3,该候选会被过滤。这里比较的是“候选域与全局最小值”,不是任意两个 zone 的最大差。

用一个主配置观察硬约束
下面保留一个主示例。labelSelector 决定统计哪些同命名空间 Pod,topologyKey 决定按 zone 分桶,maxSkew 与 minDomains 共同决定硬约束基线。示例还显式给出 Pod 的 nodeSelector,便于观察它与 eligible domains 的联动。
apiVersion: v1
kind: Pod
metadata:
name: api-spread-test
labels:
app: api
spec:
nodeSelector:
kubernetes.io/os: linux
topologySpreadConstraints:
- maxSkew: 1
minDomains: 2
topologyKey: topology.kubernetes.io/zone
whenUnsatisfiable: DoNotSchedule
nodeAffinityPolicy: Honor
labelSelector:
matchLabels:
app: api
containers:
- name: pause
image: registry.k8s.io/pause:3.10生效行为:新 Pod 只会在满足自身节点选择条件的候选节点中继续参与调度;拓扑分布插件再基于 eligible domains 计算全局最小值与 skew。若所有候选节点都会让该硬约束超限,Pod 会保持 Pending。
将配置保存为 api-spread-test.yaml 后执行:
kubectl apply -f api-spread-test.yaml
kubectl get pod api-spread-test -o wide
kubectl describe pod api-spread-test预期输出
pod/api-spread-test created
NAME READY STATUS RESTARTS AGE IP NODE
api-spread-test <VALUE> <VALUE> 0 <TIME> <IP> <VALUE>
...
Events:
<VALUE>如果存在满足全部硬约束的节点,STATUS 最终会进入 Running,事件中可看到成功调度;如果没有,STATUS 会保持 Pending,事件中会出现 FailedScheduling。Node、IP、时间和事件文本随集群状态及 Kubernetes 版本变化,应以实际输出为准。
DoNotSchedule 与 ScheduleAnyway
DoNotSchedule 把拓扑分布约束作为过滤条件。某个候选节点一旦会导致 skew 超过 maxSkew,该节点就不能用于本次绑定;如果所有候选节点都被过滤,新 Pod 就无法绑定 Node。
ScheduleAnyway 不会因为这条分布目标暂时无法满足而单独阻止调度。调度器会优先给更有利于降低偏差的拓扑域打分,但资源、其他亲和性、污点与其他评分插件仍会共同影响最终节点。因此它表达的是“尽量均衡”,不是“保证实际偏差始终不超过 maxSkew”。
eligible domains 先受 Pod 节点条件约束
eligible domains 不是集群中所有带 topology.kubernetes.io/zone 标签的 zone。在默认的 nodeAffinityPolicy: Honor 下,Pod 自身的 nodeSelector 与必需节点亲和性会参与 skew 计算:不匹配这些条件的 Node 被排除,只有仍有合格 Node 的拓扑域才进入 eligible domains;Node 还必须具有对应的 topologyKey。
例如物理上存在 zone-a、zone-b、zone-c,但 Pod 的必需节点亲和性只允许前两个 zone,那么 zone-c 不能被当成一个“0 Pod 的空桶”来降低全局最小值。若显式设置 nodeAffinityPolicy: Ignore,这些节点选择条件会在 skew 基线计算中被忽略,但它们仍会作为普通调度过滤条件限制 Pod 最终能落到哪些 Node。

minDomains 会把全局最小值改为 0
minDomains 只能与 DoNotSchedule 一起使用。eligible domains 的数量达到或超过 minDomains 时,它不改变正常计算;少于 minDomains 时,全局最小值按 0 处理。未设置 minDomains 时,可按 1 理解。
例如当前只有两个 eligible zone,各有 1 个匹配 Pod,而配置 minDomains: 3、maxSkew: 1。因为 eligible domains 数量 2 小于 3,全局最小值不是 1,而是 0。新 Pod 无论放入哪一个 zone,目标域计数都会变成 2,偏差为 2 - 0 = 2,超过 maxSkew: 1,因此两个候选域都会被过滤,Pod 可能因此保持 Pending。