容器与云原生 / 系统课时

看懂 Pod 到存储后端的数据路径

看懂 Pod 到存储后端的数据路径

排查 Kubernetes 存储问题时,最容易混淆的是“对象已经绑定”和“应用已经能读写”。本篇把 Pod、PVC、PV、CSI 控制器、节点插件与后端串成一条完整链路,并给出按断点定位故障的方法。

学习目标

  • 区分 PVC/PV 绑定、CSI 挂载与应用数据 I/O 三个层次
  • 说清动态供给、可选的 Attach、Stage/Publish 与容器挂载的先后关系
  • 用 kubectl 找到 PVC 对应的 PV、CSI 驱动、后端卷标识与运行节点

先分清控制路径与数据路径

PVC、PV 和 StorageClass 都是 Kubernetes API 对象,它们描述“需要什么存储、由谁提供、绑定到哪个卷”,并不承载应用的读写数据。真正的数据 I/O 从容器的挂载目录进入节点上的卷,再由文件系统、块设备或网络协议到达存储后端。

Pod 到 CSI 存储后端的数据路径

因此,“PVC 已经 Bound”只证明声明找到了一个 PV;“Pod 已经 Running”通常说明挂载阶段已通过;只有应用实际读写成功,才能证明从容器到后端的数据路径也可用。排障时要先判断故障落在哪一层,而不是把所有问题都归因于 CSI 驱动。

从 PVC 走到 CSI 后端

动态供给场景通常按以下顺序收敛:

  1. Pod 在 volumes[].persistentVolumeClaim 中引用 PVC,PVC 描述容量、访问模式和 StorageClass。
  2. 对尚未绑定的 PVC,外部 provisioner 根据 StorageClass 调用 CSI Controller 的 CreateVolume,后端返回卷标识,随后 Kubernetes 创建并绑定 PV。静态 PV 场景不会经过这次创建。
  3. 调度器为 Pod 选择满足卷拓扑约束的节点。若 StorageClass 使用 WaitForFirstConsumer,卷的创建或绑定会结合这个节点选择进行。
  4. 对需要节点级挂载的块存储,外部 attacher 可能调用 ControllerPublishVolume 完成 Attach。并非所有 CSI 驱动都实现或需要这一步,例如部分网络文件系统没有独立 Attach。
  5. kubelet 的 volume manager 通过节点上的 CSI Node 插件准备卷。驱动可先执行 NodeStageVolume 做节点级 Stage,再执行 NodePublishVolume 把卷发布到 Pod 可见的位置;是否存在 Stage 取决于驱动能力。
  6. 容器看到的只是自己的 mountPath。之后的读写不再经过 PVC、PV 或 provisioner,而是沿节点挂载、设备或网络文件系统直接访问后端。

用一次读写验证链路

下面的实验假设集群已经安装一个支持动态供给的 CSI StorageClass。先把 <STORAGE_CLASS> 替换为 kubectl get storageclass 中实际可用的名称;不同集群的 PV 名称、驱动名、卷标识和节点名会不同。

bash
kubectl create namespace csi-path-lab --dry-run=client -o yaml | kubectl apply -f - >/dev/null

cat <<'YAML' >/tmp/csi-path.yaml
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: data
  namespace: csi-path-lab
spec:
  accessModes:
    - ReadWriteOnce
  storageClassName: <STORAGE_CLASS>
  resources:
    requests:
      storage: 1Gi
---
apiVersion: v1
kind: Pod
metadata:
  name: writer
  namespace: csi-path-lab
spec:
  containers:
    - name: writer
      image: busybox:1.36
      command: ["sh", "-c", "echo storage-path-ok > /data/probe.txt && sleep 3600"]
      volumeMounts:
        - name: data
          mountPath: /data
  volumes:
    - name: data
      persistentVolumeClaim:
        claimName: data
YAML

kubectl apply -f /tmp/csi-path.yaml >/dev/null
kubectl wait -n csi-path-lab --for=condition=Ready pod/writer --timeout=180s >/dev/null

PV_NAME="$(kubectl get pvc -n csi-path-lab data -o jsonpath='{.spec.volumeName}')"
DRIVER="$(kubectl get pv "$PV_NAME" -o jsonpath='{.spec.csi.driver}')"
HANDLE="$(kubectl get pv "$PV_NAME" -o jsonpath='{.spec.csi.volumeHandle}')"
NODE="$(kubectl get pod -n csi-path-lab writer -o jsonpath='{.spec.nodeName}')"

printf 'PV=%s\nDRIVER=%s\nHANDLE=%s\nNODE=%s\n' "$PV_NAME" "$DRIVER" "$HANDLE" "$NODE"
kubectl exec -n csi-path-lab writer -- cat /data/probe.txt

预期输出

text
PV=<PV_NAME>
DRIVER=<CSI_DRIVER>
HANDLE=<VOLUME_HANDLE>
NODE=<NODE>
storage-path-ok

前四项来自集群实际对象,最后一行来自容器对挂载卷的真实读写。若 PVC 已 Bound 但最后一行失败,问题就已经从“供给与绑定”缩小到节点挂载、文件系统、权限或后端 I/O 路径。

按症状定位断点

现象 更可能的断点 优先检查
PVC 长时间 Pending StorageClass、供给或绑定 kubectl describe pvc 的 Events、provisioner 是否存在、后端容量与拓扑
Pod Pending 且出现 FailedAttachVolume Attach 或拓扑 Pod Events、VolumeAttachment、CSI Controller/attacher 日志
Pod 停在 ContainerCreating 且出现 FailedMount 节点 Stage/Publish Pod Events、目标节点上的 kubelet 与 CSI Node 日志、挂载参数和凭据
Pod 已 Running 但应用报 I/O 错误 数据路径或文件系统 容器内读写、节点挂载状态、后端连通性、容量、权限和文件系统错误

同一个 CSI 故障可能在多个对象上留下痕迹,但定位顺序应始终沿链路推进:先确认 PVC/PV,再确认调度与 Attach,再确认 kubelet/CSI Node 挂载,最后验证容器到后端的实际 I/O。这样才能把“控制面没收敛”和“数据面不可读写”分开处理。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

看懂 Pod 到存储后端的数据路径

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通