可观测性与稳定性 / 系统课时

模拟 CPU 异常观察告警流程

模拟 CPU 异常观察告警流程

告警规则写对并不等于告警链路真的可用。本课在一台非生产监控节点上主动制造持续 CPU 压力,从指标升高开始,依次观察 Prometheus 的 Pending 与 Firing、Alertmanager 的活动告警,以及 Grafana 中的 CPU 曲线,最后停止压力确认恢复过程。

学习目标

  • 安全制造和停止一段可控的 CPU 高负载
  • 观察 Prometheus 告警从 Inactive 到 Pending、Firing 再恢复的状态变化
  • 区分 Prometheus、Alertmanager 与 Grafana 在告警链路中的职责

先确认 CPU 告警规则

为了让实验不用等待太久,可以使用较短的计算窗口和持续时间。下面的规则先计算每台实例所有 CPU 核心的平均 idle 比例,再转换为 CPU 使用率;使用率连续两分钟超过 80% 时触发告警。

yaml
groups:
  - name: cpu-lab
    rules:
      - alert: HostHighCPU
        expr: (1 - avg by (instance) (rate(node_cpu_seconds_total{mode="idle"}[1m]))) * 100 > 80
        for: 2m
        labels:
          severity: warning
        annotations:
          summary: "High CPU usage on {{ $labels.instance }}"
          description: "Average CPU usage has stayed above 80% for more than 2 minutes."

实验规则可以保存为 /etc/prometheus/rules/cpu-lab.yml,并确保 Prometheus 的 rule_files 能匹配该文件。修改后先检查规则,而不是直接依赖运行时日志发现错误。

bash
promtool check rules /etc/prometheus/rules/cpu-lab.yml

预期输出:

text
Checking /etc/prometheus/rules/cpu-lab.yml
  SUCCESS: 1 rules found

确认规则已经加载后,在 Prometheus 的 Rules 页面应能看到 HostHighCPU。正式环境通常会采用更长的 rate 窗口、for 时间以及更符合业务基线的阈值,本课的参数主要用于缩短实验周期。

制造可控的 CPU 压力

在被 Node Exporter 监控的非生产 Linux 主机上执行下面的命令。它会为每个逻辑 CPU 启动一个持续计算的 yes 进程,并把 PID 保存到临时文件,方便之后精确停止本次实验产生的进程。

bash
pids=""
for _ in $(seq 1 "$(nproc)"); do
  yes > /dev/null &
  pids="$pids $!"
done
printf '%s\n' "$pids" > /tmp/cpu-load.pids
echo "CPU load started; PIDs saved in /tmp/cpu-load.pids"

预期输出:

text
CPU load started; PIDs saved in /tmp/cpu-load.pids

观察告警从指标到通知的变化

压力产生后,不会立即看到完整告警。Node Exporter 要先暴露新的 CPU 累计时间,Prometheus 下一次抓取后才能计算 rate,随后规则还必须持续满足 for: 2m 才会从 Pending 进入 Firing。

CPU 异常从采集到告警恢复的状态流转

观察时可以按下面的顺序判断链路是否正常:

阶段 Prometheus Alertmanager Grafana
压力刚开始 CPU 指标开始上升 无活动告警 CPU 曲线上升
条件达到阈值 HostHighCPU 为 Pending 通常仍无活动告警 高负载持续可见
持续超过 2 分钟 HostHighCPU 为 Firing 出现活动告警并按路由通知 CPU 曲线维持高位
压力停止后 条件消失并恢复 Inactive Firing 告警被解析 CPU 曲线逐渐回落

Grafana 的监控面板可以直接展示 Prometheus 中的 CPU 指标,但 Grafana Alerting 页面不会因为存在 Prometheus 原生规则就自动复制同一条规则。只有在 Grafana 已配置相应 Alertmanager 数据源或使用了对应告警集成时,才应期待在 Grafana 的告警界面看到相同的活动告警。

停止压力并确认恢复

观察到 Firing 后,应停止刚才记录的全部压力进程。下面的命令只读取实验自己的 PID 文件,不需要用模糊的进程名批量杀进程。

bash
xargs -r kill < /tmp/cpu-load.pids
rm -f /tmp/cpu-load.pids
echo "CPU load stopped"

预期输出:

text
CPU load stopped

随后继续观察至少几个抓取周期。CPU 指标不会在停止命令执行的瞬间归零,因为 rate(...[1m]) 仍包含前一分钟的样本;随着时间窗口向前移动,计算出的使用率会逐渐下降到阈值以下,Prometheus 告警条件随即恢复为 Inactive。

Alertmanager 收到恢复状态后不再把该告警作为活动告警处理。外部通知渠道是否额外发送一条“已恢复”消息,则取决于所使用接收器及其恢复通知配置,不能仅凭 Prometheus 状态恢复就假定一定会收到恢复消息。

读懂告警为什么会有延迟

从 CPU 压力开始到真正收到通知,中间至少会经过采集间隔、PromQL 时间窗口、规则评估、for 持续时间和 Alertmanager 通知分组等环节。因此“CPU 已经很高,但通知为什么晚了一会儿”通常不是故障,而是告警抗抖动设计的结果。

反过来,如果 CPU 已连续高负载数分钟,Prometheus 仍没有进入 Pending,应先检查表达式当前值和规则是否加载;已经 Firing 但 Alertmanager 没有告警,则检查 Prometheus 到 Alertmanager 的配置与连通性;Alertmanager 有活动告警但没有外部通知,再检查路由、静默、抑制和接收器。这样沿链路逐段验证,比直接修改阈值更容易定位真正的断点。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

模拟 CPU 异常观察告警流程

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通