可观测性与稳定性 / 系统课时

绘制磁盘容量与 IO 状态

绘制磁盘容量与 IO 状态

磁盘告警不能只看“磁盘快满了”。容量不足表示文件系统剩余空间紧张,而 IO 繁忙表示块设备读写压力较高。把两类指标分别绘制到 Grafana,才能判断问题究竟来自空间消耗还是存储性能。

学习目标

  • 使用 node_exporter 文件系统指标计算磁盘空间使用率
  • 使用磁盘读写与忙碌时间指标观察 IO 压力
  • 根据容量和 IO 曲线区分两类常见磁盘问题

绘制文件系统容量使用率

node_exporter 的 node_filesystem_size_bytes 表示文件系统总容量,node_filesystem_avail_bytes 表示普通用户当前可用容量。两者可以直接计算使用百分比。为了避免临时文件系统干扰,通常排除 tmpfs、overlay 和 squashfs。

promql
100 * (1 - node_filesystem_avail_bytes{fstype!~"tmpfs|overlay|squashfs"} / node_filesystem_size_bytes{fstype!~"tmpfs|overlay|squashfs"})

预期结果

text
返回按 instance、device、mountpoint 等标签区分的文件系统时间序列,数值表示对应挂载点的空间使用百分比。

在 Grafana 中可使用 Time series 展示趋势,也可以使用 Gauge 或 Bar gauge 展示当前值。单位设置为 Percent (0-100),图例建议至少保留 instance 与 mountpoint,这样多台服务器同时展示时仍能定位具体文件系统。

观察磁盘读写吞吐

node_disk_read_bytes_total 和 node_disk_written_bytes_total 都是持续累加的 Counter。要得到每秒读写字节数,需要对 Counter 使用 rate(),而不是直接展示原始值。

读取速率可以使用:

promql
rate(node_disk_read_bytes_total{device!~"loop.*|ram.*"}[5m])

预期结果

text
返回每个块设备平均每秒读取的字节数;Grafana 将这些时间序列按查询时间范围持续绘制。

写入速率可以使用:

promql
rate(node_disk_written_bytes_total{device!~"loop.*|ram.*"}[5m])

预期结果

text
返回每个块设备平均每秒写入的字节数,标签中通常包含 instance 和 device。

可以把读、写查询放在同一个 Time series 面板中,并将单位设置为 Bytes/sec。图例分别标记为 Read 与 Write,比直接显示累计字节数更容易识别负载变化。

判断设备是否持续繁忙

高吞吐本身不一定代表故障。例如顺序读取大文件时,吞吐量可能很高,但应用延迟仍然正常。可以进一步观察设备执行 IO 所花费的时间比例:

promql
100 * rate(node_disk_io_time_seconds_total{device!~"loop.*|ram.*"}[5m])

预期结果

text
返回每个块设备在查询窗口内用于处理 IO 的时间比例,以百分比形式展示。

这项指标适合和读写吞吐一起观察。设备繁忙度长期接近高位,同时应用又出现明显磁盘等待或延迟上升时,才更有理由继续调查存储性能、请求模式或底层磁盘能力。

区分容量问题与 IO 问题

容量与 IO 应放在不同面板,因为它们回答的是不同问题。容量使用率持续上升并接近阈值,说明应检查日志、数据文件、缓存或磁盘扩容;读写吞吐和设备繁忙度突然升高,则应调查当时执行了什么读写任务。

一个实用的仪表盘可以安排三个面板:文件系统使用率用于判断“还能写多少”,磁盘读写速率用于判断“正在传输多少数据”,设备 IO 时间比例用于判断“设备是否持续繁忙”。同时观察三者,可以避免把“磁盘快满”和“磁盘很忙”误判成同一种故障。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

绘制磁盘容量与 IO 状态

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通