容器与云原生 / 系统课时

处理扩展资源与设备调度

处理扩展资源与设备调度

GPU、FPGA、高性能网卡等设备要参与 Kubernetes 调度,必须先被节点以扩展资源形式发布,Pod 再按资源名声明需求。本篇用一个 GPU 调度占位实验串起“设备插件发布资源 → 调度器筛选节点 → kubelet 分配设备”的链路,并明确区分调度成功与业务程序真正可用。

学习目标

  • 识别节点 capacity 与 allocatable 中的扩展资源
  • 正确声明 GPU 等扩展资源,理解整数计数和不可超卖约束
  • 根据 FailedScheduling 事件判断资源未发布、数量不足或其他节点约束问题

扩展资源如何进入调度

以常见的 nvidia.com/gpu 为例,设备插件先向 kubelet 注册并持续报告健康设备,kubelet 再把资源数量写入 Node 状态。调度器看到的不是 GPU 利用率,而是扩展资源的整数配额:它会用节点 allocatable 减去已绑定 Pod 的资源请求,判断剩余配额是否能满足新 Pod。

具体哪一块设备交给容器,不由 Pod 自己选择。Pod 只声明资源名和数量;Pod 被调度到节点后,kubelet 的设备管理逻辑会在分配阶段与设备插件协作,把选中的设备信息交给容器运行时。

设备插件到 Pod 的扩展资源调度链路

先确认节点是否已经发布 GPU 资源:

bash
kubectl get nodes -o custom-columns='NODE:.metadata.name,GPU_CAPACITY:.status.capacity.nvidia\.com/gpu,GPU_ALLOCATABLE:.status.allocatable.nvidia\.com/gpu'

预期输出:

text
NODE     GPU_CAPACITY   GPU_ALLOCATABLE
<NODE>   <VALUE>        <VALUE>

<NODE> 与 <VALUE> 取决于实际集群。若所有节点都没有 nvidia.com/gpu,应优先检查设备插件、驱动和设备发现链路,而不是先调整 Pod 亲和性或重启调度器。

用 Pod 声明并验证调度

扩展资源可以写在容器的 resources.limits 中。若同时设置 requests 与 limits,两者必须相等;只写 limits 时,Kubernetes 会按相同数量参与调度。扩展资源使用整数数量,下面的示例请求 1 个 GPU。

这只是调度占位实验。registry.k8s.io/pause:3.10 不包含 GPU 计算程序,因此即使 Pod 成功调度,也只能证明扩展资源请求被调度和分配链路接受,不能证明 CUDA、驱动用户态库或业务程序已经可以正常使用 GPU。

yaml
apiVersion: v1
kind: Pod
metadata:
  name: gpu-scheduling-demo
spec:
  restartPolicy: Never
  containers:
    - name: workload
      image: registry.k8s.io/pause:3.10
      resources:
        limits:
          nvidia.com/gpu: 1

应用清单并查看调度结果:

bash
kubectl apply -f gpu-scheduling-demo.yaml
kubectl get pod gpu-scheduling-demo -o wide

预期结果是在 GPU 配额充足且其他调度条件同时满足时,Pod 被绑定到某个节点:

text
NAME                  READY   STATUS    RESTARTS   AGE      IP     NODE
gpu-scheduling-demo   1/1     Running   0          <TIME>   <IP>   <NODE>

<TIME>、<IP> 与 <NODE> 都是动态值。若要验证设备真正可用,应改用设备厂商或运行时提供的 GPU 测试工作负载,并在容器内执行相应的设备检测或计算命令;不要把 pause 容器的 Running 状态当成 GPU 能力验证。

扩展资源为什么不能像 CPU 一样超卖

传统扩展资源按整数单位记账,不能把 1 个 GPU 直接请求成 0.5,也不会因为当前利用率较低就把同一个资源槽位再次分给普通 Pod。节点若发布 4 个 GPU,已绑定 Pod 的请求合计为 3,新 Pod 最多还能按常规扩展资源模型请求 1 个。

这与 CPU request 不同:CPU 可以使用 500m 这样的分数单位,而传统扩展资源的调度依据是离散配额,不是实时利用率。

Pending 时按资源链路定位

Pod 因扩展资源无法调度时,先看 Pod 事件,再确认节点是否发布该资源,最后检查节点上已绑定 Pod 的资源请求和其他调度约束。

bash
kubectl describe pod gpu-scheduling-demo

预期结果可能在 Events 中出现资源不足信息:

text
Warning  FailedScheduling  <TIME>  default-scheduler  0/<VALUE> nodes are available: <VALUE> Insufficient nvidia.com/gpu.

如果事件指向 GPU 不足,再查看目标节点的资源视图:

bash
kubectl describe node <NODE>

预期结果可以在 Capacity 与 Allocatable 中看到扩展资源,例如:

text
Capacity:
  nvidia.com/gpu:     <VALUE>
Allocatable:
  nvidia.com/gpu:     <VALUE>

Allocatable 是节点可供 Pod 调度的总配额,不会随着每次调度直接改写成“剩余数量”;调度器会另外累计已绑定 Pod 的 request 来计算可用余量。若节点完全没有该资源名,继续排查设备插件和节点设备状态;若资源已发布但仍提示不足,则检查现有 Pod 占用、节点污点、亲和性、节点选择器等条件。GPU 数量满足只是成功调度的必要条件,业务程序能否真正使用设备还需要独立验证。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

处理扩展资源与设备调度

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通