可观测性与稳定性 / 系统课时
设计告警通知与处置上下文
设计告警通知与处置上下文
一条“CPU 高”只能告诉值班人员有问题,却不能说明问题发生在哪里、严重到什么程度以及下一步应该查什么。本节把告警通知设计成可执行消息,让接收者看到通知后就能判断对象和影响,并直接进入 Dashboard 与 Runbook 开始首轮诊断。
学习目标
- 组织支持分派和诊断的告警标题与关键标签
- 在告警中携带当前值、Dashboard 和 Runbook 上下文
- 使用统一模板减少不同告警通知的信息缺失
通知先回答处置所需的问题
一条可执行告警应该让接收者快速回答:什么告警、发生在哪、影响谁、现在多严重、下一步去哪看。这些信息通常分别来自告警名称、稳定标签、查询结果和 annotations。
例如主机 CPU 告警可以保留 severity、team、instance、service 等可用于路由和分派的标签,再使用 annotations 放面向人的说明、Dashboard 与 Runbook 链接。不要把时间戳、请求 ID 等高基数数据放进标签,否则会产生大量不同的告警实例。
在告警规则中补齐上下文
下面是一条完整的 Prometheus 告警规则。表达式计算最近 5 分钟的平均 CPU 使用率,并把当前值和处置入口一起交给 Alertmanager:
groups:
- name: host-alerts
rules:
- alert: HostHighCPU
expr: 100 * (1 - avg by (instance) (rate(node_cpu_seconds_total{mode="idle"}[5m]))) > 90
for: 10m
labels:
severity: warning
team: platform
annotations:
summary: "Host CPU usage is high on {{ $labels.instance }}"
description: "CPU usage is {{ printf \"%.1f\" $value }}% for at least 10 minutes."
dashboard_url: "https://grafana.example.com/d/host-overview?var-instance={{ $labels.instance }}"
runbook_url: "https://runbooks.example.com/host-high-cpu"当表达式持续满足 10 分钟后,Prometheus 会产生 HostHighCPU 告警。$value 表示当前表达式计算结果;summary 负责快速识别问题,Dashboard 用于查看相关指标,Runbook 则提供后续处置步骤。
保存规则文件后,应先用 promtool 检查语法。<PATH> 代表实际规则文件路径。
RULES_FILE="<PATH>"
promtool check rules "$RULES_FILE"预期输出:
Checking <PATH>
SUCCESS: <N> rules found<N> 取决于实际规则数量。如果检查失败,应先修复规则文件,再重载 Prometheus。
用模板统一通知结构
当多个接收渠道都需要相同上下文时,可以用 Alertmanager 的通知模板统一标题和正文。下面是片段示例,需要由具体 receiver 的消息字段引用这些模板定义:
{{ define "alert.title" }}[{{ .Status | toUpper }}] {{ .CommonLabels.alertname }} - {{ .CommonLabels.service }}{{ end }}
{{ define "alert.body" }}
Severity: {{ .CommonLabels.severity }}
Team: {{ .CommonLabels.team }}
Summary: {{ .CommonAnnotations.summary }}
Dashboard: {{ .CommonAnnotations.dashboard_url }}
Runbook: {{ .CommonAnnotations.runbook_url }}
{{ end }}这个片段的重点不是把所有标签都复制进通知,而是固定最有价值的信息位置。实际配置中,还需要让邮件、Webhook、Slack 或其他 receiver 的标题、正文等字段引用相应模板。
保留真正能改变处置动作的信息
通知内容并不是越多越好。标题应该包含告警名和主要对象,便于值班人员快速扫描;severity、team、service、instance 等标签负责分派和路由;描述应该说明当前值、阈值或持续时间,而不是只写“异常”。
Dashboard 链接最好直接带上服务或实例变量,使接收者打开后就落到相关视图。Runbook 则应该包含确认步骤、常见根因、升级路径和必要的回滚条件,而不是重复解释指标定义。
用真实通知做验收
配置完成后,可以选择一条能够安全触发的测试告警,检查通知是否能在不先打开 Prometheus 的情况下判断告警对象、严重级别、当前值和处置入口。同时验证 Dashboard 参数是否能定位到正确实例,Runbook 是否可访问,关键标签是否足以支持 Alertmanager 的路由与分派。
真正有效的告警通知不是把监控数据复制到聊天工具,而是把“发现问题”压缩成一条可以直接开始处理的工作入口。