容器与云原生 / 系统课时

用 WaitForFirstConsumer 协调调度

用 WaitForFirstConsumer 协调调度

本课解决拓扑受限存储常见的调度矛盾:卷先创建在某个可用区,而 Pod 最终只能落到另一个可用区。通过 WaitForFirstConsumer,可以把卷的供给与绑定推迟到 Pod 参与调度之后,让计算约束与存储拓扑共同决定节点和卷的位置。

学习目标

  • 解释 Immediate 与 WaitForFirstConsumer 在卷绑定时机上的差异
  • 看懂调度器、PVC、external-provisioner 与 CSI 驱动的协作顺序
  • 配置延迟绑定,并通过 PVC、PV、Pod 与 Events 验证结果

延迟绑定改变了什么

StorageClass.volumeBindingMode 未设置时采用 Immediate。PVC 创建后可能立即匹配已有 PV,或由 provisioner 动态创建卷。对于受可用区约束的块存储,此时 Pod 尚未参与调度,可能出现“卷位于 A 区,而 Pod 只能运行在 B 区”的冲突。

WaitForFirstConsumer 会把绑定决策推迟到第一个使用该 PVC 的 Pod 进入调度流程。没有消费者时 PVC 保持 Pending 是预期行为,并不等于供给故障。调度器可以同时考虑 CPU、内存、nodeSelector、节点亲和性、污点容忍以及存储拓扑,再确定合适的候选节点。

WaitForFirstConsumer 调度与延迟绑定流程

从候选节点到卷绑定

延迟绑定不是等 Pod 真正启动后才创建卷,而是在调度周期内协同完成。对于动态供给的 CSI 卷,典型顺序如下:

  1. PVC 创建后尚无消费者,因此保持未绑定状态。
  2. Pod 引用 PVC 后,调度器过滤出满足计算资源和 Pod 调度约束的候选节点。
  3. 调度器为待动态供给的 PVC 记录所选节点,常见表现是写入 volume.kubernetes.io/selected-node 注解。
  4. external-provisioner 根据所选节点及 CSI 拓扑要求调用 CreateVolume,驱动在该节点可访问的拓扑范围内创建卷。
  5. PV 创建并与 PVC 绑定后,调度器确认 PV 的 nodeAffinity 与目标节点兼容,随后完成 Pod 调度并进入挂载阶段。

如果驱动发布 CSIStorageCapacity,并且对应 CSIDriver.spec.storageCapacity 为 true,调度器还可以参考各拓扑范围的容量信息筛选节点。容量信息可能存在延迟,因此它能减少明显不可行的选择,但不能保证每次动态供给都成功。

配置并观察延迟绑定

下面是一个完整的主示例。集群需要已经安装支持动态供给的 CSI 驱动,并把 csi.example.com 替换为该驱动实际使用的 provisioner。将内容保存为 wffc-demo.yaml;其中 StorageClass、PVC 与 Pod 放在同一份清单中,便于完整观察延迟绑定过程。

yaml
apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
  name: topology-aware
provisioner: csi.example.com
volumeBindingMode: WaitForFirstConsumer
reclaimPolicy: Delete
---
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: demo-data
spec:
  accessModes:
    - ReadWriteOnce
  storageClassName: topology-aware
  resources:
    requests:
      storage: 10Gi
---
apiVersion: v1
kind: Pod
metadata:
  name: demo-app
spec:
  containers:
    - name: app
      image: busybox:1.36
      command: ["sh", "-c", "echo ready > /data/status && sleep 3600"]
      volumeMounts:
        - name: data
          mountPath: /data
  volumes:
    - name: data
      persistentVolumeClaim:
        claimName: demo-data

这里必须保留合法的 metadata: 与 name: 层级;字段名或缩进错误会导致 API Server 拒绝解析清单。Pod 也不要设置 spec.nodeName,否则会绕过调度器,使延迟绑定无法按预期完成节点选择。

应用清单并等待 PVC 完成绑定,再查看卷与 Pod 的落点:

bash
kubectl apply -f wffc-demo.yaml
kubectl wait --for=jsonpath='{.status.phase}'=Bound pvc/demo-data --timeout=180s
kubectl get storageclass topology-aware -o custom-columns='NAME:.metadata.name,MODE:.volumeBindingMode'
kubectl get pvc demo-data -o custom-columns='NAME:.metadata.name,STATUS:.status.phase,VOLUME:.spec.volumeName'
kubectl get pod demo-app -o custom-columns='NAME:.metadata.name,STATUS:.status.phase,NODE:.spec.nodeName'

预期输出:

text
storageclass.storage.k8s.io/topology-aware created
persistentvolumeclaim/demo-data created
pod/demo-app created
persistentvolumeclaim/demo-data condition met
NAME             MODE
topology-aware   WaitForFirstConsumer
NAME        STATUS   VOLUME
demo-data   Bound    <PV_NAME>
NAME       STATUS    NODE
demo-app   Running   <NODE>

<PV_NAME> 与 <NODE> 取决于实际集群。若镜像拉取、节点启动或卷挂载需要时间,Pod 可能短暂处于 Pending 或 ContainerCreating;判断延迟绑定是否成功时,应先确认 PVC 是否已经 Bound。

Pending 时按证据链排查

如果尚未创建消费者,WaitForFirstConsumer 模式下 PVC 为 Pending 属于正常状态。消费者已经存在却长期无法绑定时,再沿 PVC 事件、StorageClass、CSI 注册信息和调度事件向下检查。

bash
kubectl describe pvc demo-data
kubectl get storageclass topology-aware -o yaml
kubectl get csinode
kubectl get events --sort-by=.lastTimestamp

预期结果:kubectl describe pvc 中应出现等待消费者、选择节点、动态供给成功或具体失败原因;StorageClass 应明确显示 volumeBindingMode: WaitForFirstConsumer。不同 CSI 驱动产生的 Event 文案并不完全相同,应以集群中的真实事件为准。

当同一个 Pod 同时使用多个未绑定 PVC 时,最终候选节点必须同时满足所有卷的供给或访问条件。生产环境真正需要保证的是 Pod 的计算约束与全部存储拓扑存在交集,而不是每个 PVC 单独看起来都能够创建卷。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

用 WaitForFirstConsumer 协调调度

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通