可观测性与稳定性 / 系统课时
绘制磁盘容量与 IO 状态
绘制磁盘容量与 IO 状态
磁盘告警不能只看“磁盘快满了”。容量不足表示文件系统剩余空间紧张,而 IO 繁忙表示块设备读写压力较高。把两类指标分别绘制到 Grafana,才能判断问题究竟来自空间消耗还是存储性能。
学习目标
- 使用 node_exporter 文件系统指标计算磁盘空间使用率
- 使用磁盘读写与忙碌时间指标观察 IO 压力
- 根据容量和 IO 曲线区分两类常见磁盘问题
绘制文件系统容量使用率
node_exporter 的 node_filesystem_size_bytes 表示文件系统总容量,node_filesystem_avail_bytes 表示普通用户当前可用容量。两者可以直接计算使用百分比。为了避免临时文件系统干扰,通常排除 tmpfs、overlay 和 squashfs。
100 * (1 - node_filesystem_avail_bytes{fstype!~"tmpfs|overlay|squashfs"} / node_filesystem_size_bytes{fstype!~"tmpfs|overlay|squashfs"})预期结果
返回按 instance、device、mountpoint 等标签区分的文件系统时间序列,数值表示对应挂载点的空间使用百分比。在 Grafana 中可使用 Time series 展示趋势,也可以使用 Gauge 或 Bar gauge 展示当前值。单位设置为 Percent (0-100),图例建议至少保留 instance 与 mountpoint,这样多台服务器同时展示时仍能定位具体文件系统。
观察磁盘读写吞吐
node_disk_read_bytes_total 和 node_disk_written_bytes_total 都是持续累加的 Counter。要得到每秒读写字节数,需要对 Counter 使用 rate(),而不是直接展示原始值。
读取速率可以使用:
rate(node_disk_read_bytes_total{device!~"loop.*|ram.*"}[5m])预期结果
返回每个块设备平均每秒读取的字节数;Grafana 将这些时间序列按查询时间范围持续绘制。写入速率可以使用:
rate(node_disk_written_bytes_total{device!~"loop.*|ram.*"}[5m])预期结果
返回每个块设备平均每秒写入的字节数,标签中通常包含 instance 和 device。可以把读、写查询放在同一个 Time series 面板中,并将单位设置为 Bytes/sec。图例分别标记为 Read 与 Write,比直接显示累计字节数更容易识别负载变化。
判断设备是否持续繁忙
高吞吐本身不一定代表故障。例如顺序读取大文件时,吞吐量可能很高,但应用延迟仍然正常。可以进一步观察设备执行 IO 所花费的时间比例:
100 * rate(node_disk_io_time_seconds_total{device!~"loop.*|ram.*"}[5m])预期结果
返回每个块设备在查询窗口内用于处理 IO 的时间比例,以百分比形式展示。这项指标适合和读写吞吐一起观察。设备繁忙度长期接近高位,同时应用又出现明显磁盘等待或延迟上升时,才更有理由继续调查存储性能、请求模式或底层磁盘能力。
区分容量问题与 IO 问题
容量与 IO 应放在不同面板,因为它们回答的是不同问题。容量使用率持续上升并接近阈值,说明应检查日志、数据文件、缓存或磁盘扩容;读写吞吐和设备繁忙度突然升高,则应调查当时执行了什么读写任务。
一个实用的仪表盘可以安排三个面板:文件系统使用率用于判断“还能写多少”,磁盘读写速率用于判断“正在传输多少数据”,设备 IO 时间比例用于判断“设备是否持续繁忙”。同时观察三者,可以避免把“磁盘快满”和“磁盘很忙”误判成同一种故障。