容器与云原生 / 系统课时

分析磁盘与 inode 压力

分析磁盘与 inode 压力

节点出现 DiskPressure 时,不要先假定“整块磁盘已满”。kubelet 可能因为可用字节或 inode 达到驱逐阈值而报告磁盘压力,而 nodefs、imagefs、可选的 containerfs 是否独立存在,还取决于 Kubernetes 版本、容器运行时和实际存储布局。

学习目标

  • 区分 nodefs、imagefs 与可选 containerfs 的含义和适用条件
  • 使用 Node 条件与 kubelet Summary API 判断是空间还是 inode 信号触发压力
  • 解释不同文件系统布局下的节点级回收与 Pod 驱逐关系

先分清逻辑文件系统

nodefs、imagefs、containerfs 是 kubelet 观察文件系统统计时使用的逻辑标识,不等于所有节点都有三个独立挂载点。nodefs 表示节点主文件系统;imagefs 描述容器镜像所在文件系统,在没有独立 containerfs 时也可能承载容器可写层;containerfs 则用于描述容器可写层所在文件系统。

本文以 Kubernetes v1.37 的文档语义为参照:containerfs 仍属于可选能力,与 KubeletSeparateDiskGC 和容器运行时支持有关,不能假定任意集群都会提供独立的 containerfs。在其他版本中,应以对应版本文档和 Summary API 实际返回为准;多个逻辑标识也可能映射到同一底层文件系统。

可用空间信号包括 nodefs.available、imagefs.available 和可选的 containerfs.available;Linux 节点还可能使用对应的 *.inodesFree。inode 用于记录文件、目录等对象,大量小日志、临时文件或容器层文件可能先耗尽 inode,因此 df -h 仍有容量时也可能出现 DiskPressure。

nodefs、imagefs、containerfs 与 DiskPressure 信号关系

从 DiskPressure 找到具体信号

Node 条件只能说明至少一个受监控信号达到阈值,不能直接指出是哪一个文件系统。下面一次检查 Kubernetes 服务端版本、节点运行时、DiskPressure 条件和 Summary API;需要安装 jq,并拥有通过 API Server 代理访问 kubelet 统计接口的权限。

bash
NODE="<NODE>"

kubectl version -o json | jq -r '.serverVersion.gitVersion'
kubectl get node "$NODE" -o custom-columns='NAME:.metadata.name,RUNTIME:.status.nodeInfo.containerRuntimeVersion,DISK_PRESSURE:.status.conditions[?(@.type=="DiskPressure")].status'
kubectl get --raw "/api/v1/nodes/${NODE}/proxy/stats/summary" | jq 'def v: if . == null then null else {availableBytes,capacityBytes,inodesFree,inodes} end; {nodefs:(.node.fs|v),imagefs:(.node.runtime.imageFs|v),containerfs:(.node.runtime.containerFs|v)}'

预期输出

text
v<VALUE>
NAME       RUNTIME   DISK_PRESSURE
<NODE>     <VALUE>   True
{
  "nodefs": {
    "availableBytes": <VALUE>,
    "capacityBytes": <VALUE>,
    "inodesFree": <VALUE>,
    "inodes": <VALUE>
  },
  "imagefs": <VALUE>,
  "containerfs": <VALUE>
}

<VALUE> 表示实际动态值;imagefs 或 containerfs 可能是统计对象,也可能为 null,并且两个对象的数值可能与其他文件系统相同。对存在的对象分别计算 availableBytes / capacityBytes 与 inodesFree / inodes,再和目标 kubelet 的 evictionHard、evictionSoft 配置比较,不要直接套用某组默认阈值。

如果多个统计对象内容相同,不代表存在多块磁盘;它们可能只是映射到同一底层文件系统。反过来,可选字段缺失也只能说明当前版本或运行时没有提供对应统计,不能仅凭这一点推断物理磁盘布局。

理解回收与驱逐关系

磁盘信号达到驱逐阈值后,kubelet 会先尝试回收节点级资源;只有回收后受压信号仍未恢复,才进入业务 Pod 的选择与驱逐阶段。回收对象取决于实际布局:

  • 只有单一 nodefs 布局时,先清理死亡 Pod 和死亡容器,再删除未使用镜像。
  • 存在独立 imagefs 时,nodefs 压力主要触发死亡 Pod 与容器回收,imagefs 压力主要触发未使用镜像清理。
  • 运行时提供独立 containerfs 时,containerfs 压力对应死亡 Pod 与容器回收,imagefs 压力对应未使用镜像清理。

对于 inode 压力,Pod 没有 inode request,kubelet 无法按“是否超过 request”比较 inode 使用量,因此驱逐时主要依据 Pod 的相对 Priority。排障还要继续确认大量小文件来自日志、emptyDir 还是容器可写层,再决定清理、限制写入或调整存储布局。

当 Node 条件、Summary API、kubelet 阈值与运行时文件系统布局能够互相对应时,磁盘压力定位才算闭环:先确认空间还是 inode,再确认哪个逻辑文件系统触发,最后判断节点级回收是否足以解除压力。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

分析磁盘与 inode 压力

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通