容器与云原生 / 系统课时

检查节点设备与挂载状态

检查节点设备与挂载状态

当 PVC 已经 Bound、Pod 却仍报挂载失败时,问题往往已经从 Kubernetes 对象层进入节点。本文用 lsblk、findmnt、mount 与 dmesg 建立一条从块设备、文件系统到 Pod 挂载点的证据链,快速判断故障卡在哪一层。

学习目标

  • 能先定位目标 Node、PV 与 CSI 卷,再到正确节点检查设备。
  • 能用 lsblk、findmnt、mount 区分“设备未出现”“文件系统未挂载”和“挂载已存在”。
  • 能结合 dmesg 判断 I/O、文件系统或设备层错误是否已经超出 Kubernetes 对象层。

先确定要查哪台节点和哪个卷

节点排查前先固定 Pod、PVC、PV 三个对象。不要看到 MountVolume 事件就直接登录任意节点;同一个 PVC 的故障证据只在实际承载 Pod 的 Node 上有意义。

bash
kubectl get pod <POD_NAME> -n <NAMESPACE> -o custom-columns='NAME:.metadata.name,NODE:.spec.nodeName,UID:.metadata.uid'
kubectl get pvc <PVC_NAME> -n <NAMESPACE> -o custom-columns='PVC:.metadata.name,PHASE:.status.phase,PV:.spec.volumeName'
kubectl get pv <PV_NAME> -o jsonpath='{.spec.csi.driver}{"\t"}{.spec.csi.volumeHandle}{"\n"}'

预期输出

text
NAME         NODE         UID
<POD_NAME>   <NODE_NAME>  <POD_UID>
PVC          PHASE   PV
<PVC_NAME>   Bound   <PV_NAME>
<CSI_DRIVER>    <VOLUME_HANDLE>

<PV_NAME> 来自 PVC 的 spec.volumeName。如果 PV 不是 CSI 类型,最后一条命令可能为空,应改查该 PV 实际使用的卷源。<POD_UID>、设备名和路径都属于动态值,实际结果会不同。

节点存储挂载证据链

按设备、文件系统、挂载点逐层核对

登录 <NODE_NAME> 后,用同一组标识符连续检查。下面假设 kubelet 使用默认根目录 /var/lib/kubelet;若节点修改过 kubelet --root-dir,应替换为实际路径。

bash
sudo lsblk -o NAME,KNAME,TYPE,SIZE,FSTYPE,MOUNTPOINTS
sudo findmnt -rn -o TARGET,SOURCE,FSTYPE,OPTIONS | grep -F '/var/lib/kubelet/pods/<POD_UID>/'
sudo mount | grep -F '/var/lib/kubelet/pods/<POD_UID>/'
sudo dmesg --ctime | tail -n 80

预期输出

text
NAME  KNAME TYPE SIZE FSTYPE MOUNTPOINTS
<DEVICE> <DEVICE> disk <SIZE> ext4 <MOUNTPOINT>

<PATH>/pods/<POD_UID>/volumes/kubernetes.io~csi/<PV_NAME>/mount /dev/<DEVICE> ext4 rw,<OPTIONS>
/dev/<DEVICE> on <PATH>/pods/<POD_UID>/volumes/kubernetes.io~csi/<PV_NAME>/mount type ext4 (rw,<OPTIONS>)

<TIME> <KERNEL_MESSAGE_OR_NO_RELEVANT_STORAGE_ERROR>

findmnt 读取内核挂载表,通常比解析 mount 文本更适合作为主证据;mount 用来快速人工复核。某些驱动会使用 /dev/mapper/<DEVICE>、多路径设备或额外 staging 目录,因此不要把示例中的源设备路径当成固定格式。

用证据定位故障边界

如果 PVC/PV 已正常绑定,但 lsblk 中应出现的块设备完全不存在,优先回看 CSI attach、NodeStageVolume/NodePublishVolume 以及节点插件日志。设备已经出现、却没有目标文件系统或挂载记录,则重点检查格式化、mount 参数、staging 和 publish 阶段。

如果 findmnt 已能看到 Pod 卷目录,而容器仍提示路径不可用,故障范围会进一步缩小到 kubelet publish、bind mount、mount propagation 或容器侧权限。此时不要继续反复重建 PVC,因为对象绑定本身已经不是主要矛盾。

dmesg 中若出现设备 reset、I/O error、文件系统只读重挂载或元数据错误,应把内核与存储后端纳入排查。Kubernetes 事件只能告诉你挂载动作失败,真正的设备或文件系统原因经常只出现在节点日志里。

形成可复现的检查顺序

实际排障时固定使用“对象关系 → 目标 Node → 设备 → 文件系统 → 挂载表 → 内核日志”的顺序。这样每一步都有上一层提供的标识符,也能明确在哪一层首次出现异常。记录 <POD_UID>、<PV_NAME>、<VOLUME_HANDLE> 与时间点后,即使 Pod 被重建,也能把 kubelet、CSI Node 插件和内核日志对到同一次故障。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

检查节点设备与挂载状态

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通