可观测性与稳定性 / 系统课时

告警规则应该怎样分级

告警规则应该怎样分级

如果所有告警都以同样方式通知和值班,轻微波动会不断打断人员,真正的故障反而容易被淹没。本节用 severity 标签把告警严重程度写进规则,并建立等级、响应时效与处理流程之间的明确对应关系。

学习目标

  • 使用 severity 等标签为 Prometheus 告警建立稳定的严重程度分类
  • 根据业务影响而不是指标数值大小判断告警等级
  • 编写并校验带有分级标签的告警规则

分级解决的不是颜色问题

告警等级的核心作用是决定谁需要知道、多久需要响应、采用什么通知方式。它不是 Grafana 面板中的红黄绿配色,也不应该简单等同于某个指标超过了多少。

一个常见的三档模型可以这样定义:

等级 典型含义 处理方式
info 当前无需立即介入,但值得记录或观察 进入低优先级渠道或仅留档
warning 服务仍可工作,但风险正在上升 工作时间处理或通知负责团队
critical 用户请求失败、核心能力不可用或数据安全受到威胁 立即通知值班人员并进入事故处理流程

判断等级时优先看业务影响。例如磁盘使用率达到 90% 可能只是 warning,而磁盘已满导致数据库无法写入,即使只发生在一台机器上,也可能属于 critical。

把等级写进告警标签

Prometheus 告警规则可以在 labels 中加入 severity。下面用同一组规则展示三个等级,实际阈值应根据业务基线调整。

yaml
groups:
  - name: host-health
    rules:
      - alert: HostDiskUsageHigh
        expr: 100 * (1 - node_filesystem_avail_bytes{fstype!=""} / node_filesystem_size_bytes{fstype!=""}) > 85
        for: 15m
        labels:
          severity: warning
        annotations:
          summary: "Host disk usage is high"

      - alert: HostDiskAlmostFull
        expr: 100 * (1 - node_filesystem_avail_bytes{fstype!=""} / node_filesystem_size_bytes{fstype!=""}) > 95
        for: 5m
        labels:
          severity: critical
        annotations:
          summary: "Host disk is almost full"

      - alert: HostRecentlyRebooted
        expr: time() - node_boot_time_seconds < 600
        labels:
          severity: info
        annotations:
          summary: "Host was rebooted recently"

这份配置中,severity 是普通标签,Prometheus 不会自动赋予它特殊含义。真正让不同等级走不同流程的是后续 Alertmanager 的路由配置,因此等级命名必须在团队中保持一致。

保存为 alert-rules.yml 后,可以先检查规则文件语法:

bash
promtool check rules alert-rules.yml >/dev/null && echo "rules ok"

预期输出:

text
rules ok

如果没有输出 rules ok,说明 promtool 校验没有成功,应先根据其错误信息修正规则,再交给 Prometheus 加载。

不要只按阈值机械升级

同一个指标跨越不同阈值可以形成等级差异,但这不是唯一标准。设计严重程度时至少要同时考虑影响范围、持续时间、是否有自动恢复能力,以及是否直接影响用户。

例如 CPU 使用率 95% 持续一分钟,未必需要凌晨叫醒值班人员;而订单接口连续五分钟无法成功,即使 CPU 和内存都正常,也应被视为高严重度事件。告警等级描述的是事件后果,而不是监控数字看起来有多吓人。

保持标签稳定才能可靠路由

生产环境中应把等级值控制在有限集合内,例如统一使用 info、warning、critical,不要同时出现 warn、high、fatal 等含义重叠的写法。标签值一旦被 Alertmanager 路由、静默规则和通知模板依赖,随意改名可能让告警进入错误的接收渠道。

除了 severity,还可以使用 team、service、environment 等标签描述责任归属和运行环境。严重程度负责表达“有多紧急”,其他标签负责回答“谁负责”和“发生在哪里”,这样后续路由规则才能保持清晰。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

告警规则应该怎样分级

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通