可观测性与稳定性 / 系统课时
加入磁盘和主机离线告警
加入磁盘和主机离线告警
服务器监控平台至少要能发现两类直接影响可用性的情况:文件系统空间即将耗尽,以及整台主机的采集 Target 已不可达。本课把这两类条件写成 Prometheus 告警规则,并通过规则检查和离线实验确认告警能够真正触发。
学习目标
- 使用 Node Exporter 指标定义文件系统剩余容量告警
- 使用
up指标检测服务器 Target 是否持续不可达 - 验证规则加载、Pending、Firing 与恢复过程
定义两类基础告警
磁盘告警不应直接使用 node_filesystem_free_bytes。在 Linux 文件系统中,普通进程真正可以继续分配的空间更适合用 node_filesystem_avail_bytes 衡量,再除以 node_filesystem_size_bytes 得到可用空间百分比。
主机离线则不需要依赖 Node Exporter 自己报告某个“在线状态”指标。Prometheus 对每个抓取 Target 自动生成 up:最近一次抓取成功时为 1,失败时为 0。因此持续 up == 0 就能直接表达采集目标不可达。
| 告警 | 核心条件 | 建议等待时间 | 目的 |
|---|---|---|---|
| 文件系统空间不足 | 可用空间低于 10% | 10 分钟 | 避免短暂空间波动产生告警 |
| Node Target 离线 | up == 0 |
2 分钟 | 排除单次网络或抓取抖动 |
编写 Prometheus 规则
下面创建 /etc/prometheus/rules/server-alerts.yml。示例假定 Node Exporter 的抓取任务标签为 job="node";如果你的 prometheus.yml 使用其他 job 名称,需要同步修改第二条表达式。
groups:
- name: server-baseline
rules:
- alert: FilesystemSpaceLow
expr: 100 * node_filesystem_avail_bytes{fstype!~"tmpfs|overlay|squashfs"} / node_filesystem_size_bytes{fstype!~"tmpfs|overlay|squashfs"} < 10
for: 10m
labels:
severity: warning
annotations:
summary: "Filesystem space is low on {{ $labels.instance }}"
description: "Mount {{ $labels.mountpoint }} has less than 10% available space."
- alert: NodeTargetDown
expr: up{job="node"} == 0
for: 2m
labels:
severity: critical
annotations:
summary: "Node target is unreachable: {{ $labels.instance }}"
description: "Prometheus has failed to scrape this node target for more than 2 minutes."这里排除了常见的 tmpfs、overlay 和 squashfs,避免把临时文件系统、容器叠加层或只读镜像文件系统混进普通磁盘容量告警。生产环境还应根据实际主机上的 fstype 与 mountpoint 标签继续调整过滤条件。
先用 promtool 做语法和规则检查,避免因为 YAML 缩进或 PromQL 错误导致整组规则无法加载。
promtool check rules /etc/prometheus/rules/server-alerts.yml预期输出:
Checking /etc/prometheus/rules/server-alerts.yml
SUCCESS: 2 rules found如果 Prometheus 由 systemd 管理,并且规则文件已经被主配置通过 rule_files 引入,可以重启服务加载配置,再确认进程处于运行状态。
sudo systemctl restart prometheus
systemctl is-active prometheus预期输出:
active验证离线告警链路
在非生产实验主机上,可以主动停止 Node Exporter。以下命令假定 systemd unit 名称为 node_exporter;发行版软件包使用其他名称时应替换为真实 unit 名称。
sudo systemctl stop node_exporter
systemctl is-active node_exporter || true预期输出:
inactive等待下一次抓取后,在 Prometheus 的 Targets 页面应看到对应 Target 变为 Down,up{job="node"} 对该实例的值变成 0。在 Alerts 页面中,NodeTargetDown 会先进入 Pending;持续达到 for: 2m 后才进入 Firing,并由已配置的 Alertmanager 接收。
完成观察后立即恢复采集端。
sudo systemctl start node_exporter
systemctl is-active node_exporter预期输出:
active下一次成功抓取会使 up 恢复为 1,告警条件消失。如果告警已经进入 Firing,Prometheus 会把解析后的状态变化发送给 Alertmanager。
验证磁盘规则而不故意写满磁盘
磁盘容量告警没有必要通过向生产文件系统灌入大文件来测试。先在 Prometheus 表达式浏览器执行规则中的比例表达式,确认当前主机能够返回 instance、device、mountpoint 和百分比结果,再检查真正需要监控的挂载点是否被包含。
还要特别注意 up == 0 表示“Prometheus 抓不到这个 Target”,并不能直接证明操作系统已经关机。Exporter 崩溃、防火墙阻断、网络故障、目标地址填写错误都会产生相同结果,因此通知内容应描述为 Target 不可达,再结合主机和网络监控判断根因。
完成这两条规则后,服务器监控已经具备最基本的容量与可达性保护:磁盘问题使用业务真正可用的空间衡量,主机离线则直接利用 Prometheus 自身的抓取结果,并通过 for 时间过滤短暂抖动。