容器与云原生 / 系统课时
处理容量感知与供应限制
处理容量感知与供应限制
存储供应失败不只意味着“磁盘满了”。一个 PVC 从提交到真正创建后端卷,会依次经过命名空间准入限制、调度器的容量感知和 CSI 驱动的实际供应。本课把这三道关卡拆开,并给出可直接执行的检查顺序。
学习目标
- 判断
CSIStorageCapacity何时会影响WaitForFirstConsumerPVC 的节点选择。 - 区分
LimitRange、ResourceQuota与 CSI 后端容量不足造成的不同失败阶段。 - 用
kubectl建立从 PVC、容量对象到供应事件的定位证据链。
先把三类限制分开
容量问题最容易误判,是因为 Kubernetes 同时存在“请求能不能提交”“节点值不值得选”“后端最终能不能创建卷”三种判断。它们的责任边界不同。
| 关卡 | 主要对象 | 发生时机 | 典型结果 |
|---|---|---|---|
| 单 PVC 大小限制 | LimitRange |
PVC 准入 | 小于 min 或大于 max 时直接拒绝创建 |
| 命名空间预算 | ResourceQuota |
PVC 准入 | PVC 数量或累计 requests.storage 超额时拒绝 |
| 拓扑容量感知 | CSIStorageCapacity |
Pod 调度 | 过滤当前拓扑下明显无法满足未创建卷的节点 |
| 实际供应 | CSI Driver 与存储后端 | CreateVolume |
池容量、规格、拓扑或供应商限制仍可能让创建失败 |
Kubernetes 没有一个通用的 StorageClass 字段叫“最小卷大小”。如果平台希望在 API 入口统一限制最小值,应使用针对 PersistentVolumeClaim 的 LimitRange;驱动或后端自身仍可能按产品规则向上取整或拒绝过小请求。
容量感知如何参与调度
CSIStorageCapacity 的作用不是替代存储后端做精确容量账本,而是在调度阶段避免明显错误的节点选择。它主要参与“PVC 尚未供给、StorageClass 使用 WaitForFirstConsumer、对应 CSIDriver.spec.storageCapacity 开启”的路径。
调度器会根据 StorageClass 和节点拓扑寻找可匹配的容量对象,再判断请求大小是否可能满足。选中节点后,外部 provisioner 才携带拓扑约束调用 CSI CreateVolume。容量信息可能已经变旧,所以即使调度检查通过,后端仍可能拒绝创建;此时节点选择可以被重置并重新调度。

还要注意,CSIStorageCapacity 是驱动发布的集群调度信息,它所在的命名空间通常与 CSI 驱动部署位置有关,不等同于业务命名空间配额。不要把它和 ResourceQuota 当成同一类容量控制。
检查驱动与容量对象
先确认驱动是否声明容量感知,再看集群中是否真的存在容量对象。以下命令只读取 API,不会修改存储资源。
kubectl get csidriver -o jsonpath='{range .items[*]}{.metadata.name}{"\tstorageCapacity="}{.spec.storageCapacity}{"\n"}{end}'
kubectl get csistoragecapacity -A -o jsonpath='{range .items[*]}{.metadata.namespace}{"\t"}{.storageClassName}{"\tcapacity="}{.capacity}{"\tmax="}{.maximumVolumeSize}{"\n"}{end}'预期输出
<DRIVER_NAME> storageCapacity=true
<DRIVER_NAMESPACE> <STORAGE_CLASS> capacity=<VALUE> max=<VALUE_OR_EMPTY>实际驱动名、StorageClass、容量值会不同。如果第一条显示为空或 false,调度器不会按该驱动的容量对象做这一路径的容量过滤;如果第二条没有输出,应继续确认 CSI 驱动是否支持并启用了容量发布,而不是直接断定后端没有空间。
给命名空间设置供应护栏
下面的配置把单个 PVC 限定在 20Gi 到 2Ti,同时把命名空间的 PVC 数量限制为 20、累计请求限制为 4Ti。示例还演示了对 fast-rwo StorageClass 单独设置 3Ti 的预算。
apiVersion: v1
kind: List
items:
- apiVersion: v1
kind: LimitRange
metadata:
name: storage-size
namespace: storage-team
spec:
limits:
- type: PersistentVolumeClaim
min:
storage: 20Gi
max:
storage: 2Ti
- apiVersion: v1
kind: ResourceQuota
metadata:
name: storage-budget
namespace: storage-team
spec:
hard:
persistentvolumeclaims: "20"
requests.storage: 4Ti
fast-rwo.storageclass.storage.k8s.io/requests.storage: 3Ti保存为 storage-guardrails.yaml 后执行:
kubectl create namespace storage-team --dry-run=client -o yaml | kubectl apply -f -
kubectl apply -f storage-guardrails.yaml
kubectl get limitrange,resourcequota -n storage-team -o name预期输出
namespace/storage-team created
limitrange/storage-size created
resourcequota/storage-budget created
limitrange/storage-size
resourcequota/storage-budget重复执行时 created 可能变成 unchanged 或 configured。此后,小于 20Gi、大于 2Ti 或使配额超限的 PVC 会在准入阶段失败,不会进入“长时间 Pending 后再找 CSI”的排障路径。
供应失败时按证据链定位
PVC 已经存在但一直 Pending 时,先看它请求的 StorageClass、大小和 AccessMode,再确认 StorageClass 是否使用 WaitForFirstConsumer。若是这一模式,还要检查 PVC 是否出现 volume.kubernetes.io/selected-node 注解,以及该节点拓扑是否有匹配的 CSIStorageCapacity。
接着查看 PVC 与 Pod 事件。如果问题发生在调度阶段,重点查节点筛选与容量信息;如果已经进入 external-provisioner,重点查 ProvisioningFailed 一类事件、provisioner 日志、CSI CreateVolume 返回以及后端池容量。配额或最小值问题通常在创建 PVC 时就由 API 拒绝,故障阶段明显更早。
修复动作应针对证据:可以释放或扩充后端容量、改用有余量的 StorageClass 或拓扑、调整过严的配额,或者修复驱动的容量发布。不要手工长期维护 CSIStorageCapacity 数值来“骗过”调度器;真正能够创建卷的容量仍由 CSI 驱动和存储后端决定。