可观测性与稳定性 / 系统课时

怎样监控磁盘剩余空间

怎样监控磁盘剩余空间

磁盘空间监控的关键不是把所有挂载点都画进图表,而是找出真正承载业务数据的文件系统,并计算普通进程还能使用多少空间。本课使用 Node Exporter 的文件系统指标构造 PromQL,同时过滤常见临时和特殊文件系统。

学习目标

  • 使用 node_filesystem_size_bytes 与 node_filesystem_avail_bytes 计算剩余空间和使用率。
  • 理解 avail 与 free 的区别,选择更贴近应用写入能力的指标。
  • 通过 fstype 和 mountpoint 标签过滤临时、容器和系统文件系统。

先选对容量指标

node_filesystem_size_bytes 表示文件系统总容量,node_filesystem_avail_bytes 表示普通非 root 用户可用的空间。监控业务程序是否还能继续写入时,avail 通常比 node_filesystem_free_bytes 更贴近实际,因为部分保留空间可能只有特权用户可以使用。

因此,剩余比例可以写成 avail / size,使用率则写成 1 - avail / size。这两个指标都带有 instance、device、mountpoint、fstype 等标签,可以逐个挂载点判断容量。

过滤不需要告警的文件系统

Node Exporter 会暴露多个挂载点。tmpfs、devtmpfs、proc、sysfs、cgroup 一类文件系统通常不代表持久磁盘容量;容器环境里还可能出现大量 overlay 挂载。如果不先过滤,看板会被大量无业务意义的时间序列淹没。

下面查询每个实例、设备和挂载点的磁盘使用率,并过滤常见临时或特殊类型。实际环境如果确实依赖某种文件系统,应从排除规则中删除对应类型。示例假设 Prometheus 运行在 localhost:9090,并且本机已经安装 curl 与 jq。

bash
curl -s 'http://localhost:9090/api/v1/query' \
  --get \
  --data-urlencode 'query=100 * (1 - node_filesystem_avail_bytes{fstype!~"tmpfs|devtmpfs|overlay|squashfs|proc|sysfs|cgroup2?|nsfs|tracefs"} / node_filesystem_size_bytes{fstype!~"tmpfs|devtmpfs|overlay|squashfs|proc|sysfs|cgroup2?|nsfs|tracefs"})' \
  | jq -r '.data.result[] | "instance=\(.metric.instance) mountpoint=\(.metric.mountpoint) used_percent=\(.value[1])"'

预期输出

text
instance=<HOST>:<PORT> mountpoint=<PATH> used_percent=<VALUE>

<HOST>、<PORT>、<PATH> 与 <VALUE> 会随目标机器和文件系统变化。查询结果中应该重点保留 /、/var、/data 等真实承载系统或业务数据的挂载点,而不是机械地要求所有主机拥有相同路径。

直接查看还剩多少字节

百分比适合统一告警,绝对剩余容量则能避免“大磁盘只剩 5% 仍有很多空间”和“小磁盘剩 10% 已经很危险”这类误判。可以直接查询过滤后的 node_filesystem_avail_bytes:

bash
curl -s 'http://localhost:9090/api/v1/query' \
  --get \
  --data-urlencode 'query=node_filesystem_avail_bytes{fstype!~"tmpfs|devtmpfs|overlay|squashfs|proc|sysfs|cgroup2?|nsfs|tracefs"}' \
  | jq -r '.data.result[] | "instance=\(.metric.instance) mountpoint=\(.metric.mountpoint) avail_bytes=\(.value[1])"'

预期输出

text
instance=<HOST>:<PORT> mountpoint=<PATH> avail_bytes=<VALUE>

实际告警通常同时考虑使用率和绝对剩余量,并要求条件持续一段时间再触发。例如业务数据盘接近满载时,既要防止百分比长期偏高,也要保证至少还有足够的字节数支撑日志、临时文件和数据增长。

避免把挂载点问题当成磁盘问题

同一块设备可能对应不同挂载关系,容器或编排系统也可能制造大量额外挂载点。因此告警标签中应保留 instance、device、mountpoint 和 fstype,让值班人员能直接定位“哪台机器的哪个挂载点”正在耗尽。

磁盘容量监控的可靠做法是:先过滤无业务意义的文件系统,再同时观察使用率与绝对剩余字节数,最后针对真实持久化挂载点设置阈值。这样得到的告警数量更少,也更接近真正会导致写入失败的风险。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

怎样监控磁盘剩余空间

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通