容器与云原生 / 系统课时

处理容量感知与供应限制

处理容量感知与供应限制

存储供应失败不只意味着“磁盘满了”。一个 PVC 从提交到真正创建后端卷,会依次经过命名空间准入限制、调度器的容量感知和 CSI 驱动的实际供应。本课把这三道关卡拆开,并给出可直接执行的检查顺序。

学习目标

  • 判断 CSIStorageCapacity 何时会影响 WaitForFirstConsumer PVC 的节点选择。
  • 区分 LimitRange、ResourceQuota 与 CSI 后端容量不足造成的不同失败阶段。
  • 用 kubectl 建立从 PVC、容量对象到供应事件的定位证据链。

先把三类限制分开

容量问题最容易误判,是因为 Kubernetes 同时存在“请求能不能提交”“节点值不值得选”“后端最终能不能创建卷”三种判断。它们的责任边界不同。

关卡 主要对象 发生时机 典型结果
单 PVC 大小限制 LimitRange PVC 准入 小于 min 或大于 max 时直接拒绝创建
命名空间预算 ResourceQuota PVC 准入 PVC 数量或累计 requests.storage 超额时拒绝
拓扑容量感知 CSIStorageCapacity Pod 调度 过滤当前拓扑下明显无法满足未创建卷的节点
实际供应 CSI Driver 与存储后端 CreateVolume 池容量、规格、拓扑或供应商限制仍可能让创建失败

Kubernetes 没有一个通用的 StorageClass 字段叫“最小卷大小”。如果平台希望在 API 入口统一限制最小值,应使用针对 PersistentVolumeClaim 的 LimitRange;驱动或后端自身仍可能按产品规则向上取整或拒绝过小请求。

容量感知如何参与调度

CSIStorageCapacity 的作用不是替代存储后端做精确容量账本,而是在调度阶段避免明显错误的节点选择。它主要参与“PVC 尚未供给、StorageClass 使用 WaitForFirstConsumer、对应 CSIDriver.spec.storageCapacity 开启”的路径。

调度器会根据 StorageClass 和节点拓扑寻找可匹配的容量对象,再判断请求大小是否可能满足。选中节点后,外部 provisioner 才携带拓扑约束调用 CSI CreateVolume。容量信息可能已经变旧,所以即使调度检查通过,后端仍可能拒绝创建;此时节点选择可以被重置并重新调度。

CSI 容量感知、配额与实际供应三道关卡

还要注意,CSIStorageCapacity 是驱动发布的集群调度信息,它所在的命名空间通常与 CSI 驱动部署位置有关,不等同于业务命名空间配额。不要把它和 ResourceQuota 当成同一类容量控制。

检查驱动与容量对象

先确认驱动是否声明容量感知,再看集群中是否真的存在容量对象。以下命令只读取 API,不会修改存储资源。

bash
kubectl get csidriver -o jsonpath='{range .items[*]}{.metadata.name}{"\tstorageCapacity="}{.spec.storageCapacity}{"\n"}{end}'
kubectl get csistoragecapacity -A -o jsonpath='{range .items[*]}{.metadata.namespace}{"\t"}{.storageClassName}{"\tcapacity="}{.capacity}{"\tmax="}{.maximumVolumeSize}{"\n"}{end}'

预期输出

text
<DRIVER_NAME>    storageCapacity=true
<DRIVER_NAMESPACE>    <STORAGE_CLASS>    capacity=<VALUE>    max=<VALUE_OR_EMPTY>

实际驱动名、StorageClass、容量值会不同。如果第一条显示为空或 false,调度器不会按该驱动的容量对象做这一路径的容量过滤;如果第二条没有输出,应继续确认 CSI 驱动是否支持并启用了容量发布,而不是直接断定后端没有空间。

给命名空间设置供应护栏

下面的配置把单个 PVC 限定在 20Gi 到 2Ti,同时把命名空间的 PVC 数量限制为 20、累计请求限制为 4Ti。示例还演示了对 fast-rwo StorageClass 单独设置 3Ti 的预算。

yaml
apiVersion: v1
kind: List
items:
  - apiVersion: v1
    kind: LimitRange
    metadata:
      name: storage-size
      namespace: storage-team
    spec:
      limits:
        - type: PersistentVolumeClaim
          min:
            storage: 20Gi
          max:
            storage: 2Ti
  - apiVersion: v1
    kind: ResourceQuota
    metadata:
      name: storage-budget
      namespace: storage-team
    spec:
      hard:
        persistentvolumeclaims: "20"
        requests.storage: 4Ti
        fast-rwo.storageclass.storage.k8s.io/requests.storage: 3Ti

保存为 storage-guardrails.yaml 后执行:

bash
kubectl create namespace storage-team --dry-run=client -o yaml | kubectl apply -f -
kubectl apply -f storage-guardrails.yaml
kubectl get limitrange,resourcequota -n storage-team -o name

预期输出

text
namespace/storage-team created
limitrange/storage-size created
resourcequota/storage-budget created
limitrange/storage-size
resourcequota/storage-budget

重复执行时 created 可能变成 unchanged 或 configured。此后,小于 20Gi、大于 2Ti 或使配额超限的 PVC 会在准入阶段失败,不会进入“长时间 Pending 后再找 CSI”的排障路径。

供应失败时按证据链定位

PVC 已经存在但一直 Pending 时,先看它请求的 StorageClass、大小和 AccessMode,再确认 StorageClass 是否使用 WaitForFirstConsumer。若是这一模式,还要检查 PVC 是否出现 volume.kubernetes.io/selected-node 注解,以及该节点拓扑是否有匹配的 CSIStorageCapacity。

接着查看 PVC 与 Pod 事件。如果问题发生在调度阶段,重点查节点筛选与容量信息;如果已经进入 external-provisioner,重点查 ProvisioningFailed 一类事件、provisioner 日志、CSI CreateVolume 返回以及后端池容量。配额或最小值问题通常在创建 PVC 时就由 API 拒绝,故障阶段明显更早。

修复动作应针对证据:可以释放或扩充后端容量、改用有余量的 StorageClass 或拓扑、调整过严的配额,或者修复驱动的容量发布。不要手工长期维护 CSIStorageCapacity 数值来“骗过”调度器;真正能够创建卷的容量仍由 CSI 驱动和存储后端决定。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

处理容量感知与供应限制

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通