可观测性与稳定性 / 系统课时

磁盘告警为什么不能只设一个阈值

磁盘告警为什么不能只设一个阈值

磁盘使用率达到 90% 看似是一个简单明确的告警条件,但 100 GB 与 10 TB 磁盘在同样使用率下,剩余空间相差近百倍。要让告警真正反映空间风险,需要同时考虑使用比例、剩余字节数以及持续时间。

学习目标

  • 解释单一磁盘使用率阈值为什么容易产生过早或过晚的告警
  • 使用 Prometheus 指标同时计算磁盘使用率和绝对剩余空间
  • 设计兼顾磁盘容量差异与短时波动的告警条件

同一个百分比不代表同一种风险

假设两台服务器的文件系统都已经使用 90%:

文件系统容量 使用率 剩余空间
100 GB 90% 10 GB
10 TB 90% 约 1 TB

如果统一在 90% 时触发严重告警,小磁盘可能已经十分紧张,而大磁盘仍有充足空间。反过来,如果只检查“剩余低于 20 GB”,几十 GB 的系统盘可能长期告警,大容量数据盘又可能等到风险已经很高才被发现。

因此磁盘告警通常至少要同时观察两个维度:使用比例回答“磁盘离满还有多远”,绝对剩余空间回答“业务实际上还能写多少数据”。

用 Prometheus 同时观察两个维度

node_exporter 常用 node_filesystem_size_bytes 表示文件系统总容量,node_filesystem_avail_bytes 表示普通用户可用空间。下面的 PromQL 可以计算使用率:

text
100 * (1 - node_filesystem_avail_bytes{fstype!~"tmpfs|overlay"} / node_filesystem_size_bytes{fstype!~"tmpfs|overlay"})

预期结果

text
{instance="server-a:9100",device="/dev/vda1",mountpoint="/"} 87.4
{instance="server-b:9100",device="/dev/vdb1",mountpoint="/data"} 92.1

实际实例、设备名和数值会随环境变化。第二个维度可以直接查看剩余字节数:

text
node_filesystem_avail_bytes{fstype!~"tmpfs|overlay"}

预期结果

text
{instance="server-a:9100",device="/dev/vda1",mountpoint="/"} 13529146982
{instance="server-b:9100",device="/dev/vdb1",mountpoint="/data"} 1085529927680

这样就能看出:即使 server-b 的使用率更高,它仍可能拥有远多于 server-a 的可写空间。

把百分比和剩余空间组合成告警

一个实用的 warning 规则可以要求“使用率超过 85%”并且“剩余空间低于 50 GiB”同时成立。这样既不会因为大型磁盘刚超过百分比阈值就过早告警,也不会忽视真正接近耗尽的小磁盘。

yaml
groups:
  - name: filesystem-alerts
    rules:
      - alert: DiskSpaceWarning
        expr: |
          (
            100 * (
              1 - node_filesystem_avail_bytes{fstype!~"tmpfs|overlay"}
                  / node_filesystem_size_bytes{fstype!~"tmpfs|overlay"}
            ) > 85
          )
          and on(instance, device, mountpoint)
          (
            node_filesystem_avail_bytes{fstype!~"tmpfs|overlay"}
              < 50 * 1024 * 1024 * 1024
          )
        for: 15m
        labels:
          severity: warning
        annotations:
          summary: "Filesystem space is running low"

这里的 and on(instance, device, mountpoint) 保证两侧条件比较的是同一个文件系统。for: 15m 则要求条件持续满足 15 分钟,避免短时间批量写入、临时文件或清理任务造成告警抖动。

可以使用 promtool 检查规则文件语法。假设上面的内容保存为 disk-alerts.yml:

bash
promtool check rules disk-alerts.yml

预期输出

text
Checking disk-alerts.yml
  SUCCESS: 1 rules found

不同 Prometheus 版本的空格和提示格式可能略有差异,但校验成功时应出现 SUCCESS 并以成功状态退出。

阈值应该根据写入速度继续调整

百分比与绝对剩余空间仍不是万能阈值。日志盘每小时可能增长数十 GB,而只读归档盘几天都不会变化,所以同样剩余 30 GB,风险完全不同。生产环境还可以结合最近几小时的容量下降速度,评估“还有多久会写满”。

对于根分区、日志盘、数据库数据盘等高风险文件系统,还应分别设置 warning 与 critical 条件。真正可靠的磁盘告警不是“某个数字一到就响”,而是让阈值能够反映磁盘容量、业务写入速度以及运维响应时间共同构成的风险。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

磁盘告警为什么不能只设一个阈值

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通