可观测性与稳定性 / 系统课时

设计告警通知与处置上下文

设计告警通知与处置上下文

一条“CPU 高”只能告诉值班人员有问题,却不能说明问题发生在哪里、严重到什么程度以及下一步应该查什么。本节把告警通知设计成可执行消息,让接收者看到通知后就能判断对象和影响,并直接进入 Dashboard 与 Runbook 开始首轮诊断。

学习目标

  • 组织支持分派和诊断的告警标题与关键标签
  • 在告警中携带当前值、Dashboard 和 Runbook 上下文
  • 使用统一模板减少不同告警通知的信息缺失

通知先回答处置所需的问题

一条可执行告警应该让接收者快速回答:什么告警、发生在哪、影响谁、现在多严重、下一步去哪看。这些信息通常分别来自告警名称、稳定标签、查询结果和 annotations。

例如主机 CPU 告警可以保留 severity、team、instance、service 等可用于路由和分派的标签,再使用 annotations 放面向人的说明、Dashboard 与 Runbook 链接。不要把时间戳、请求 ID 等高基数数据放进标签,否则会产生大量不同的告警实例。

在告警规则中补齐上下文

下面是一条完整的 Prometheus 告警规则。表达式计算最近 5 分钟的平均 CPU 使用率,并把当前值和处置入口一起交给 Alertmanager:

yaml
groups:
  - name: host-alerts
    rules:
      - alert: HostHighCPU
        expr: 100 * (1 - avg by (instance) (rate(node_cpu_seconds_total{mode="idle"}[5m]))) > 90
        for: 10m
        labels:
          severity: warning
          team: platform
        annotations:
          summary: "Host CPU usage is high on {{ $labels.instance }}"
          description: "CPU usage is {{ printf \"%.1f\" $value }}% for at least 10 minutes."
          dashboard_url: "https://grafana.example.com/d/host-overview?var-instance={{ $labels.instance }}"
          runbook_url: "https://runbooks.example.com/host-high-cpu"

当表达式持续满足 10 分钟后,Prometheus 会产生 HostHighCPU 告警。$value 表示当前表达式计算结果;summary 负责快速识别问题,Dashboard 用于查看相关指标,Runbook 则提供后续处置步骤。

保存规则文件后,应先用 promtool 检查语法。<PATH> 代表实际规则文件路径。

bash
RULES_FILE="<PATH>"
promtool check rules "$RULES_FILE"

预期输出:

text
Checking <PATH>
  SUCCESS: <N> rules found

<N> 取决于实际规则数量。如果检查失败,应先修复规则文件,再重载 Prometheus。

用模板统一通知结构

当多个接收渠道都需要相同上下文时,可以用 Alertmanager 的通知模板统一标题和正文。下面是片段示例,需要由具体 receiver 的消息字段引用这些模板定义:

text
{{ define "alert.title" }}[{{ .Status | toUpper }}] {{ .CommonLabels.alertname }} - {{ .CommonLabels.service }}{{ end }}

{{ define "alert.body" }}
Severity: {{ .CommonLabels.severity }}
Team: {{ .CommonLabels.team }}
Summary: {{ .CommonAnnotations.summary }}
Dashboard: {{ .CommonAnnotations.dashboard_url }}
Runbook: {{ .CommonAnnotations.runbook_url }}
{{ end }}

这个片段的重点不是把所有标签都复制进通知,而是固定最有价值的信息位置。实际配置中,还需要让邮件、Webhook、Slack 或其他 receiver 的标题、正文等字段引用相应模板。

保留真正能改变处置动作的信息

通知内容并不是越多越好。标题应该包含告警名和主要对象,便于值班人员快速扫描;severity、team、service、instance 等标签负责分派和路由;描述应该说明当前值、阈值或持续时间,而不是只写“异常”。

Dashboard 链接最好直接带上服务或实例变量,使接收者打开后就落到相关视图。Runbook 则应该包含确认步骤、常见根因、升级路径和必要的回滚条件,而不是重复解释指标定义。

用真实通知做验收

配置完成后,可以选择一条能够安全触发的测试告警,检查通知是否能在不先打开 Prometheus 的情况下判断告警对象、严重级别、当前值和处置入口。同时验证 Dashboard 参数是否能定位到正确实例,Runbook 是否可访问,关键标签是否足以支持 Alertmanager 的路由与分派。

真正有效的告警通知不是把监控数据复制到聊天工具,而是把“发现问题”压缩成一条可以直接开始处理的工作入口。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

设计告警通知与处置上下文

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通