容器与云原生 / 系统课时
看懂 Pod 到存储后端的数据路径
看懂 Pod 到存储后端的数据路径
排查 Kubernetes 存储问题时,最容易混淆的是“对象已经绑定”和“应用已经能读写”。本篇把 Pod、PVC、PV、CSI 控制器、节点插件与后端串成一条完整链路,并给出按断点定位故障的方法。
学习目标
- 区分 PVC/PV 绑定、CSI 挂载与应用数据 I/O 三个层次
- 说清动态供给、可选的 Attach、Stage/Publish 与容器挂载的先后关系
- 用
kubectl找到 PVC 对应的 PV、CSI 驱动、后端卷标识与运行节点
先分清控制路径与数据路径
PVC、PV 和 StorageClass 都是 Kubernetes API 对象,它们描述“需要什么存储、由谁提供、绑定到哪个卷”,并不承载应用的读写数据。真正的数据 I/O 从容器的挂载目录进入节点上的卷,再由文件系统、块设备或网络协议到达存储后端。

因此,“PVC 已经 Bound”只证明声明找到了一个 PV;“Pod 已经 Running”通常说明挂载阶段已通过;只有应用实际读写成功,才能证明从容器到后端的数据路径也可用。排障时要先判断故障落在哪一层,而不是把所有问题都归因于 CSI 驱动。
从 PVC 走到 CSI 后端
动态供给场景通常按以下顺序收敛:
- Pod 在
volumes[].persistentVolumeClaim中引用 PVC,PVC 描述容量、访问模式和 StorageClass。 - 对尚未绑定的 PVC,外部 provisioner 根据 StorageClass 调用 CSI Controller 的
CreateVolume,后端返回卷标识,随后 Kubernetes 创建并绑定 PV。静态 PV 场景不会经过这次创建。 - 调度器为 Pod 选择满足卷拓扑约束的节点。若 StorageClass 使用
WaitForFirstConsumer,卷的创建或绑定会结合这个节点选择进行。 - 对需要节点级挂载的块存储,外部 attacher 可能调用
ControllerPublishVolume完成 Attach。并非所有 CSI 驱动都实现或需要这一步,例如部分网络文件系统没有独立 Attach。 - kubelet 的 volume manager 通过节点上的 CSI Node 插件准备卷。驱动可先执行
NodeStageVolume做节点级 Stage,再执行NodePublishVolume把卷发布到 Pod 可见的位置;是否存在 Stage 取决于驱动能力。 - 容器看到的只是自己的
mountPath。之后的读写不再经过 PVC、PV 或 provisioner,而是沿节点挂载、设备或网络文件系统直接访问后端。
用一次读写验证链路
下面的实验假设集群已经安装一个支持动态供给的 CSI StorageClass。先把 <STORAGE_CLASS> 替换为 kubectl get storageclass 中实际可用的名称;不同集群的 PV 名称、驱动名、卷标识和节点名会不同。
bash
kubectl create namespace csi-path-lab --dry-run=client -o yaml | kubectl apply -f - >/dev/null
cat <<'YAML' >/tmp/csi-path.yaml
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
name: data
namespace: csi-path-lab
spec:
accessModes:
- ReadWriteOnce
storageClassName: <STORAGE_CLASS>
resources:
requests:
storage: 1Gi
---
apiVersion: v1
kind: Pod
metadata:
name: writer
namespace: csi-path-lab
spec:
containers:
- name: writer
image: busybox:1.36
command: ["sh", "-c", "echo storage-path-ok > /data/probe.txt && sleep 3600"]
volumeMounts:
- name: data
mountPath: /data
volumes:
- name: data
persistentVolumeClaim:
claimName: data
YAML
kubectl apply -f /tmp/csi-path.yaml >/dev/null
kubectl wait -n csi-path-lab --for=condition=Ready pod/writer --timeout=180s >/dev/null
PV_NAME="$(kubectl get pvc -n csi-path-lab data -o jsonpath='{.spec.volumeName}')"
DRIVER="$(kubectl get pv "$PV_NAME" -o jsonpath='{.spec.csi.driver}')"
HANDLE="$(kubectl get pv "$PV_NAME" -o jsonpath='{.spec.csi.volumeHandle}')"
NODE="$(kubectl get pod -n csi-path-lab writer -o jsonpath='{.spec.nodeName}')"
printf 'PV=%s\nDRIVER=%s\nHANDLE=%s\nNODE=%s\n' "$PV_NAME" "$DRIVER" "$HANDLE" "$NODE"
kubectl exec -n csi-path-lab writer -- cat /data/probe.txt预期输出
text
PV=<PV_NAME>
DRIVER=<CSI_DRIVER>
HANDLE=<VOLUME_HANDLE>
NODE=<NODE>
storage-path-ok前四项来自集群实际对象,最后一行来自容器对挂载卷的真实读写。若 PVC 已 Bound 但最后一行失败,问题就已经从“供给与绑定”缩小到节点挂载、文件系统、权限或后端 I/O 路径。
按症状定位断点
| 现象 | 更可能的断点 | 优先检查 |
|---|---|---|
PVC 长时间 Pending |
StorageClass、供给或绑定 | kubectl describe pvc 的 Events、provisioner 是否存在、后端容量与拓扑 |
Pod Pending 且出现 FailedAttachVolume |
Attach 或拓扑 | Pod Events、VolumeAttachment、CSI Controller/attacher 日志 |
Pod 停在 ContainerCreating 且出现 FailedMount |
节点 Stage/Publish | Pod Events、目标节点上的 kubelet 与 CSI Node 日志、挂载参数和凭据 |
Pod 已 Running 但应用报 I/O 错误 |
数据路径或文件系统 | 容器内读写、节点挂载状态、后端连通性、容量、权限和文件系统错误 |
同一个 CSI 故障可能在多个对象上留下痕迹,但定位顺序应始终沿链路推进:先确认 PVC/PV,再确认调度与 Attach,再确认 kubelet/CSI Node 挂载,最后验证容器到后端的实际 I/O。这样才能把“控制面没收敛”和“数据面不可读写”分开处理。
按自己的节奏,确认真正理解。