可观测性与稳定性 / 系统课时

加入磁盘和主机离线告警

加入磁盘和主机离线告警

服务器监控平台至少要能发现两类直接影响可用性的情况:文件系统空间即将耗尽,以及整台主机的采集 Target 已不可达。本课把这两类条件写成 Prometheus 告警规则,并通过规则检查和离线实验确认告警能够真正触发。

学习目标

  • 使用 Node Exporter 指标定义文件系统剩余容量告警
  • 使用 up 指标检测服务器 Target 是否持续不可达
  • 验证规则加载、Pending、Firing 与恢复过程

定义两类基础告警

磁盘告警不应直接使用 node_filesystem_free_bytes。在 Linux 文件系统中,普通进程真正可以继续分配的空间更适合用 node_filesystem_avail_bytes 衡量,再除以 node_filesystem_size_bytes 得到可用空间百分比。

主机离线则不需要依赖 Node Exporter 自己报告某个“在线状态”指标。Prometheus 对每个抓取 Target 自动生成 up:最近一次抓取成功时为 1,失败时为 0。因此持续 up == 0 就能直接表达采集目标不可达。

告警 核心条件 建议等待时间 目的
文件系统空间不足 可用空间低于 10% 10 分钟 避免短暂空间波动产生告警
Node Target 离线 up == 0 2 分钟 排除单次网络或抓取抖动

编写 Prometheus 规则

下面创建 /etc/prometheus/rules/server-alerts.yml。示例假定 Node Exporter 的抓取任务标签为 job="node";如果你的 prometheus.yml 使用其他 job 名称,需要同步修改第二条表达式。

yaml
groups:
  - name: server-baseline
    rules:
      - alert: FilesystemSpaceLow
        expr: 100 * node_filesystem_avail_bytes{fstype!~"tmpfs|overlay|squashfs"} / node_filesystem_size_bytes{fstype!~"tmpfs|overlay|squashfs"} < 10
        for: 10m
        labels:
          severity: warning
        annotations:
          summary: "Filesystem space is low on {{ $labels.instance }}"
          description: "Mount {{ $labels.mountpoint }} has less than 10% available space."

      - alert: NodeTargetDown
        expr: up{job="node"} == 0
        for: 2m
        labels:
          severity: critical
        annotations:
          summary: "Node target is unreachable: {{ $labels.instance }}"
          description: "Prometheus has failed to scrape this node target for more than 2 minutes."

这里排除了常见的 tmpfs、overlay 和 squashfs,避免把临时文件系统、容器叠加层或只读镜像文件系统混进普通磁盘容量告警。生产环境还应根据实际主机上的 fstype 与 mountpoint 标签继续调整过滤条件。

先用 promtool 做语法和规则检查,避免因为 YAML 缩进或 PromQL 错误导致整组规则无法加载。

bash
promtool check rules /etc/prometheus/rules/server-alerts.yml

预期输出:

text
Checking /etc/prometheus/rules/server-alerts.yml
  SUCCESS: 2 rules found

如果 Prometheus 由 systemd 管理,并且规则文件已经被主配置通过 rule_files 引入,可以重启服务加载配置,再确认进程处于运行状态。

bash
sudo systemctl restart prometheus
systemctl is-active prometheus

预期输出:

text
active

验证离线告警链路

在非生产实验主机上,可以主动停止 Node Exporter。以下命令假定 systemd unit 名称为 node_exporter;发行版软件包使用其他名称时应替换为真实 unit 名称。

bash
sudo systemctl stop node_exporter
systemctl is-active node_exporter || true

预期输出:

text
inactive

等待下一次抓取后,在 Prometheus 的 Targets 页面应看到对应 Target 变为 Down,up{job="node"} 对该实例的值变成 0。在 Alerts 页面中,NodeTargetDown 会先进入 Pending;持续达到 for: 2m 后才进入 Firing,并由已配置的 Alertmanager 接收。

完成观察后立即恢复采集端。

bash
sudo systemctl start node_exporter
systemctl is-active node_exporter

预期输出:

text
active

下一次成功抓取会使 up 恢复为 1,告警条件消失。如果告警已经进入 Firing,Prometheus 会把解析后的状态变化发送给 Alertmanager。

验证磁盘规则而不故意写满磁盘

磁盘容量告警没有必要通过向生产文件系统灌入大文件来测试。先在 Prometheus 表达式浏览器执行规则中的比例表达式,确认当前主机能够返回 instance、device、mountpoint 和百分比结果,再检查真正需要监控的挂载点是否被包含。

还要特别注意 up == 0 表示“Prometheus 抓不到这个 Target”,并不能直接证明操作系统已经关机。Exporter 崩溃、防火墙阻断、网络故障、目标地址填写错误都会产生相同结果,因此通知内容应描述为 Target 不可达,再结合主机和网络监控判断根因。

完成这两条规则后,服务器监控已经具备最基本的容量与可达性保护:磁盘问题使用业务真正可用的空间衡量,主机离线则直接利用 Prometheus 自身的抓取结果,并通过 for 时间过滤短暂抖动。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

加入磁盘和主机离线告警

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通