可观测性与稳定性 / 系统课时
写一个 CPU 高使用率告警
写一个 CPU 高使用率告警
服务器已经采集 CPU 指标后,下一步是把“CPU 太高”变成 Prometheus 能持续计算的告警条件。本节使用 Node Exporter 的 node_cpu_seconds_total 计算主机 CPU 使用率,写出完整告警规则,并用 promtool 在加载前检查规则是否合法。
学习目标
- 用
node_cpu_seconds_total计算主机 CPU 使用率 - 编写包含告警名称、标签和说明信息的 Prometheus 告警规则
- 使用
promtool检查规则文件并确认 Prometheus 能加载它
从空闲时间反推 CPU 使用率
Node Exporter 的 node_cpu_seconds_total 是累计 CPU 时间计数器,并通过 mode 区分 idle、user、system 等状态。计算整体 CPU 使用率时,一个常见做法是先求最近 5 分钟的空闲比例,再用 1 减去它。
核心 PromQL 为:
100 * (1 - avg by (instance) (rate(node_cpu_seconds_total{mode="idle"}[5m])))其中 rate(...[5m]) 得到最近 5 分钟每个 CPU 核心处于空闲状态的平均速率,avg by (instance) 再把同一实例的多个 CPU 核心合并。最终乘以 100,得到百分比形式的 CPU 使用率。
告警需要的是异常条件,因此在表达式末尾增加阈值判断:
100 * (1 - avg by (instance) (rate(node_cpu_seconds_total{mode="idle"}[5m]))) > 80当某个实例计算出的 CPU 使用率超过 80% 时,该表达式就会返回对应时间序列;没有超过阈值的实例不会出现在结果中。这正是 Prometheus 告警规则判断异常的基础。
写出完整告警规则
假设 Node Exporter 指标已经被 Prometheus 正常抓取,可以创建 <PATH>/host-alerts.yml:
groups:
- name: host-resource-alerts
rules:
- alert: HostHighCpuUsage
expr: 100 * (1 - avg by (instance) (rate(node_cpu_seconds_total{mode="idle"}[5m]))) > 80
labels:
severity: warning
annotations:
summary: '主机 CPU 使用率过高'
description: '实例 {{ $labels.instance }} 的 CPU 使用率超过 80%,当前表达式值为 {{ $value }}%。'alert 是告警名称,应保持稳定且具有明确含义。labels 通常用于给后续 Alertmanager 路由提供分类依据;annotations 则用于放置面向人的说明信息,不参与告警条件计算。
这里暂时没有配置 for,因此表达式一旦在某次规则计算中满足条件,告警就可以直接进入 firing 状态。持续时间控制将在后续单独处理。
让 Prometheus 加载规则
规则文件还需要被 Prometheus 主配置引用。如果现有 rule_files 已经通过通配符覆盖该文件,就不需要重复添加;否则可以在 prometheus.yml 中配置对应路径。
下面是片段示例,需要放入现有 Prometheus 主配置的顶层,并将 <PATH> 替换成实际目录:
rule_files:
- '<PATH>/host-alerts.yml'配置生效后,Prometheus 会按照规则计算周期执行该 PromQL。当 CPU 使用率低于等于 80% 时没有活动告警;超过阈值时,HostHighCpuUsage 会针对对应 instance 产生告警实例。
加载前先检查语法
修改规则后不要直接依赖 Prometheus 启动日志发现错误。安装 Prometheus 时通常会同时提供 promtool,可以先对规则文件做静态检查。将 <PATH> 替换为实际目录后执行:
promtool check rules <PATH>/host-alerts.yml预期输出类似:
Checking <PATH>/host-alerts.yml
SUCCESS: 1 rules found不同 Prometheus 版本的提示文字可能略有区别,但应明确显示检查成功;如果表达式、YAML 缩进或规则字段有误,命令会返回错误而不是 SUCCESS。
避免几个常见误区
不要直接对 node_cpu_seconds_total 的原始累计值设置阈值。它记录的是累计秒数,会随着运行时间持续增长,必须通过 rate 等函数转换成一段时间内的变化速率。
[5m] 也不是“CPU 连续高 5 分钟才报警”。它只是 rate 计算时使用的历史窗口,决定当前 CPU 使用率如何估算。真正要求异常持续一段时间后再触发,需要在告警规则中配置 for。
阈值同样不应机械照搬。80% 可以作为实验值,但生产环境应结合机器用途、CPU 核数、业务峰值和可接受持续时间调整。一个可用的 CPU 告警不仅要能发现高负载,还要避免把正常的短暂计算峰值持续发送成噪声。