容器与云原生 / 系统课时

理解 maxSkew 与不可调度行为

理解 maxSkew 与不可调度行为

本节解决一个常见误判:maxSkew: 1 并不等于“所有 zone 的副本数永远最多差 1”。真正的判定还取决于 eligible domains、Pod 自身的节点选择条件、whenUnsatisfiable,以及 minDomains 是否把全局最小值压到 0。

学习目标

  • 能按 eligible domains 和全局最小值判断 DoNotSchedule 是否允许候选节点
  • 能区分 DoNotSchedule 的硬过滤与 ScheduleAnyway 的软评分
  • 能说明 nodeSelector、必需节点亲和性与 minDomains 如何改变偏差计算基线

maxSkew 如何判定候选域

在 whenUnsatisfiable: DoNotSchedule 下,调度器对候选节点做假设放置,计算该节点所在拓扑域的匹配 Pod 数,并与 eligible domains 中的全局最小值比较。候选域的偏差不超过 maxSkew 时,这条拓扑分布约束才不会过滤该节点。

例如三个 eligible zone 当前有 3/1/1 个匹配 app=api 的 Pod,maxSkew: 1。放到 zone-b 后目标域为 2,全局最小值仍为 1,偏差为 1,可以通过;放到 zone-a 后目标域为 4,偏差为 3,该候选会被过滤。这里比较的是“候选域与全局最小值”,不是任意两个 zone 的最大差。

maxSkew 在不同候选拓扑域上的硬约束判定

用一个主配置观察硬约束

下面保留一个主示例。labelSelector 决定统计哪些同命名空间 Pod,topologyKey 决定按 zone 分桶,maxSkew 与 minDomains 共同决定硬约束基线。示例还显式给出 Pod 的 nodeSelector,便于观察它与 eligible domains 的联动。

yaml
apiVersion: v1
kind: Pod
metadata:
  name: api-spread-test
  labels:
    app: api
spec:
  nodeSelector:
    kubernetes.io/os: linux
  topologySpreadConstraints:
    - maxSkew: 1
      minDomains: 2
      topologyKey: topology.kubernetes.io/zone
      whenUnsatisfiable: DoNotSchedule
      nodeAffinityPolicy: Honor
      labelSelector:
        matchLabels:
          app: api
  containers:
    - name: pause
      image: registry.k8s.io/pause:3.10

生效行为:新 Pod 只会在满足自身节点选择条件的候选节点中继续参与调度;拓扑分布插件再基于 eligible domains 计算全局最小值与 skew。若所有候选节点都会让该硬约束超限,Pod 会保持 Pending。

将配置保存为 api-spread-test.yaml 后执行:

bash
kubectl apply -f api-spread-test.yaml
kubectl get pod api-spread-test -o wide
kubectl describe pod api-spread-test

预期输出

text
pod/api-spread-test created
NAME              READY   STATUS    RESTARTS   AGE      IP        NODE
api-spread-test   <VALUE> <VALUE>   0          <TIME>   <IP>      <VALUE>
...
Events:
  <VALUE>

如果存在满足全部硬约束的节点,STATUS 最终会进入 Running,事件中可看到成功调度;如果没有,STATUS 会保持 Pending,事件中会出现 FailedScheduling。Node、IP、时间和事件文本随集群状态及 Kubernetes 版本变化,应以实际输出为准。

DoNotSchedule 与 ScheduleAnyway

DoNotSchedule 把拓扑分布约束作为过滤条件。某个候选节点一旦会导致 skew 超过 maxSkew,该节点就不能用于本次绑定;如果所有候选节点都被过滤,新 Pod 就无法绑定 Node。

ScheduleAnyway 不会因为这条分布目标暂时无法满足而单独阻止调度。调度器会优先给更有利于降低偏差的拓扑域打分,但资源、其他亲和性、污点与其他评分插件仍会共同影响最终节点。因此它表达的是“尽量均衡”,不是“保证实际偏差始终不超过 maxSkew”。

eligible domains 先受 Pod 节点条件约束

eligible domains 不是集群中所有带 topology.kubernetes.io/zone 标签的 zone。在默认的 nodeAffinityPolicy: Honor 下,Pod 自身的 nodeSelector 与必需节点亲和性会参与 skew 计算:不匹配这些条件的 Node 被排除,只有仍有合格 Node 的拓扑域才进入 eligible domains;Node 还必须具有对应的 topologyKey。

例如物理上存在 zone-a、zone-b、zone-c,但 Pod 的必需节点亲和性只允许前两个 zone,那么 zone-c 不能被当成一个“0 Pod 的空桶”来降低全局最小值。若显式设置 nodeAffinityPolicy: Ignore,这些节点选择条件会在 skew 基线计算中被忽略,但它们仍会作为普通调度过滤条件限制 Pod 最终能落到哪些 Node。

eligible domains 与 minDomains 的计算关系

minDomains 会把全局最小值改为 0

minDomains 只能与 DoNotSchedule 一起使用。eligible domains 的数量达到或超过 minDomains 时,它不改变正常计算;少于 minDomains 时,全局最小值按 0 处理。未设置 minDomains 时,可按 1 理解。

例如当前只有两个 eligible zone,各有 1 个匹配 Pod,而配置 minDomains: 3、maxSkew: 1。因为 eligible domains 数量 2 小于 3,全局最小值不是 1,而是 0。新 Pod 无论放入哪一个 zone,目标域计数都会变成 2,偏差为 2 - 0 = 2,超过 maxSkew: 1,因此两个候选域都会被过滤,Pod 可能因此保持 Pending。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

理解 maxSkew 与不可调度行为

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通