容器与云原生 / 系统课时
分析磁盘与 inode 压力
分析磁盘与 inode 压力
节点出现 DiskPressure 时,不要先假定“整块磁盘已满”。kubelet 可能因为可用字节或 inode 达到驱逐阈值而报告磁盘压力,而 nodefs、imagefs、可选的 containerfs 是否独立存在,还取决于 Kubernetes 版本、容器运行时和实际存储布局。
学习目标
- 区分
nodefs、imagefs与可选containerfs的含义和适用条件 - 使用 Node 条件与 kubelet Summary API 判断是空间还是 inode 信号触发压力
- 解释不同文件系统布局下的节点级回收与 Pod 驱逐关系
先分清逻辑文件系统
nodefs、imagefs、containerfs 是 kubelet 观察文件系统统计时使用的逻辑标识,不等于所有节点都有三个独立挂载点。nodefs 表示节点主文件系统;imagefs 描述容器镜像所在文件系统,在没有独立 containerfs 时也可能承载容器可写层;containerfs 则用于描述容器可写层所在文件系统。
本文以 Kubernetes v1.37 的文档语义为参照:containerfs 仍属于可选能力,与 KubeletSeparateDiskGC 和容器运行时支持有关,不能假定任意集群都会提供独立的 containerfs。在其他版本中,应以对应版本文档和 Summary API 实际返回为准;多个逻辑标识也可能映射到同一底层文件系统。
可用空间信号包括 nodefs.available、imagefs.available 和可选的 containerfs.available;Linux 节点还可能使用对应的 *.inodesFree。inode 用于记录文件、目录等对象,大量小日志、临时文件或容器层文件可能先耗尽 inode,因此 df -h 仍有容量时也可能出现 DiskPressure。

从 DiskPressure 找到具体信号
Node 条件只能说明至少一个受监控信号达到阈值,不能直接指出是哪一个文件系统。下面一次检查 Kubernetes 服务端版本、节点运行时、DiskPressure 条件和 Summary API;需要安装 jq,并拥有通过 API Server 代理访问 kubelet 统计接口的权限。
NODE="<NODE>"
kubectl version -o json | jq -r '.serverVersion.gitVersion'
kubectl get node "$NODE" -o custom-columns='NAME:.metadata.name,RUNTIME:.status.nodeInfo.containerRuntimeVersion,DISK_PRESSURE:.status.conditions[?(@.type=="DiskPressure")].status'
kubectl get --raw "/api/v1/nodes/${NODE}/proxy/stats/summary" | jq 'def v: if . == null then null else {availableBytes,capacityBytes,inodesFree,inodes} end; {nodefs:(.node.fs|v),imagefs:(.node.runtime.imageFs|v),containerfs:(.node.runtime.containerFs|v)}'预期输出
v<VALUE>
NAME RUNTIME DISK_PRESSURE
<NODE> <VALUE> True
{
"nodefs": {
"availableBytes": <VALUE>,
"capacityBytes": <VALUE>,
"inodesFree": <VALUE>,
"inodes": <VALUE>
},
"imagefs": <VALUE>,
"containerfs": <VALUE>
}<VALUE> 表示实际动态值;imagefs 或 containerfs 可能是统计对象,也可能为 null,并且两个对象的数值可能与其他文件系统相同。对存在的对象分别计算 availableBytes / capacityBytes 与 inodesFree / inodes,再和目标 kubelet 的 evictionHard、evictionSoft 配置比较,不要直接套用某组默认阈值。
如果多个统计对象内容相同,不代表存在多块磁盘;它们可能只是映射到同一底层文件系统。反过来,可选字段缺失也只能说明当前版本或运行时没有提供对应统计,不能仅凭这一点推断物理磁盘布局。
理解回收与驱逐关系
磁盘信号达到驱逐阈值后,kubelet 会先尝试回收节点级资源;只有回收后受压信号仍未恢复,才进入业务 Pod 的选择与驱逐阶段。回收对象取决于实际布局:
- 只有单一
nodefs布局时,先清理死亡 Pod 和死亡容器,再删除未使用镜像。 - 存在独立
imagefs时,nodefs压力主要触发死亡 Pod 与容器回收,imagefs压力主要触发未使用镜像清理。 - 运行时提供独立
containerfs时,containerfs压力对应死亡 Pod 与容器回收,imagefs压力对应未使用镜像清理。
对于 inode 压力,Pod 没有 inode request,kubelet 无法按“是否超过 request”比较 inode 使用量,因此驱逐时主要依据 Pod 的相对 Priority。排障还要继续确认大量小文件来自日志、emptyDir 还是容器可写层,再决定清理、限制写入或调整存储布局。
当 Node 条件、Summary API、kubelet 阈值与运行时文件系统布局能够互相对应时,磁盘压力定位才算闭环:先确认空间还是 inode,再确认哪个逻辑文件系统触发,最后判断节点级回收是否足以解除压力。