可观测性与稳定性 / 系统课时
磁盘告警为什么不能只设一个阈值
磁盘告警为什么不能只设一个阈值
磁盘使用率达到 90% 看似是一个简单明确的告警条件,但 100 GB 与 10 TB 磁盘在同样使用率下,剩余空间相差近百倍。要让告警真正反映空间风险,需要同时考虑使用比例、剩余字节数以及持续时间。
学习目标
- 解释单一磁盘使用率阈值为什么容易产生过早或过晚的告警
- 使用 Prometheus 指标同时计算磁盘使用率和绝对剩余空间
- 设计兼顾磁盘容量差异与短时波动的告警条件
同一个百分比不代表同一种风险
假设两台服务器的文件系统都已经使用 90%:
| 文件系统容量 | 使用率 | 剩余空间 |
|---|---|---|
| 100 GB | 90% | 10 GB |
| 10 TB | 90% | 约 1 TB |
如果统一在 90% 时触发严重告警,小磁盘可能已经十分紧张,而大磁盘仍有充足空间。反过来,如果只检查“剩余低于 20 GB”,几十 GB 的系统盘可能长期告警,大容量数据盘又可能等到风险已经很高才被发现。
因此磁盘告警通常至少要同时观察两个维度:使用比例回答“磁盘离满还有多远”,绝对剩余空间回答“业务实际上还能写多少数据”。
用 Prometheus 同时观察两个维度
node_exporter 常用 node_filesystem_size_bytes 表示文件系统总容量,node_filesystem_avail_bytes 表示普通用户可用空间。下面的 PromQL 可以计算使用率:
100 * (1 - node_filesystem_avail_bytes{fstype!~"tmpfs|overlay"} / node_filesystem_size_bytes{fstype!~"tmpfs|overlay"})预期结果
{instance="server-a:9100",device="/dev/vda1",mountpoint="/"} 87.4
{instance="server-b:9100",device="/dev/vdb1",mountpoint="/data"} 92.1实际实例、设备名和数值会随环境变化。第二个维度可以直接查看剩余字节数:
node_filesystem_avail_bytes{fstype!~"tmpfs|overlay"}预期结果
{instance="server-a:9100",device="/dev/vda1",mountpoint="/"} 13529146982
{instance="server-b:9100",device="/dev/vdb1",mountpoint="/data"} 1085529927680这样就能看出:即使 server-b 的使用率更高,它仍可能拥有远多于 server-a 的可写空间。
把百分比和剩余空间组合成告警
一个实用的 warning 规则可以要求“使用率超过 85%”并且“剩余空间低于 50 GiB”同时成立。这样既不会因为大型磁盘刚超过百分比阈值就过早告警,也不会忽视真正接近耗尽的小磁盘。
groups:
- name: filesystem-alerts
rules:
- alert: DiskSpaceWarning
expr: |
(
100 * (
1 - node_filesystem_avail_bytes{fstype!~"tmpfs|overlay"}
/ node_filesystem_size_bytes{fstype!~"tmpfs|overlay"}
) > 85
)
and on(instance, device, mountpoint)
(
node_filesystem_avail_bytes{fstype!~"tmpfs|overlay"}
< 50 * 1024 * 1024 * 1024
)
for: 15m
labels:
severity: warning
annotations:
summary: "Filesystem space is running low"这里的 and on(instance, device, mountpoint) 保证两侧条件比较的是同一个文件系统。for: 15m 则要求条件持续满足 15 分钟,避免短时间批量写入、临时文件或清理任务造成告警抖动。
可以使用 promtool 检查规则文件语法。假设上面的内容保存为 disk-alerts.yml:
promtool check rules disk-alerts.yml预期输出
Checking disk-alerts.yml
SUCCESS: 1 rules found不同 Prometheus 版本的空格和提示格式可能略有差异,但校验成功时应出现 SUCCESS 并以成功状态退出。
阈值应该根据写入速度继续调整
百分比与绝对剩余空间仍不是万能阈值。日志盘每小时可能增长数十 GB,而只读归档盘几天都不会变化,所以同样剩余 30 GB,风险完全不同。生产环境还可以结合最近几小时的容量下降速度,评估“还有多久会写满”。
对于根分区、日志盘、数据库数据盘等高风险文件系统,还应分别设置 warning 与 critical 条件。真正可靠的磁盘告警不是“某个数字一到就响”,而是让阈值能够反映磁盘容量、业务写入速度以及运维响应时间共同构成的风险。