可观测性与稳定性 / 系统课时
怎样把告警发送给 Alertmanager
怎样把告警发送给 Alertmanager
Prometheus 只负责计算告警规则并产生告警状态,真正的分组、路由和通知由 Alertmanager 接手。本节完成一条最小可验证链路:配置 Prometheus 的 Alertmanager 目标,创建一条必定触发的测试规则,再分别从 Prometheus 与 Alertmanager API 确认告警已经送达。
学习目标
- 配置 Prometheus 的
alerting.alertmanagers目标 - 用一条最小测试规则验证告警从 Prometheus 进入 Alertmanager
- 区分“规则已触发”和“Alertmanager 已收到”这两个检查点
告警是怎样交给 Alertmanager 的
Prometheus 每次评估规则后,会把处于 firing 状态的告警发送到已配置的 Alertmanager。这里最容易混淆的是:Prometheus 页面看到 firing,只能证明规则计算成功;要证明传输链路正常,还要在 Alertmanager 侧看到同一条告警。

Alertmanager 地址必须从 Prometheus 进程所在环境 可访问。若两者运行在不同容器中,127.0.0.1:9093 通常是错误的,因为它会指向 Prometheus 自己的容器;此时应改成可解析的 Alertmanager 服务名或实际主机地址。
配置 Prometheus 的告警目标
下面给出一个最小 prometheus.yml。rule_files 让 Prometheus 加载测试规则,alerting.alertmanagers 指定 Alertmanager 目标。
global:
evaluation_interval: 15s
rule_files:
- rules.yml
alerting:
alertmanagers:
- static_configs:
- targets:
- 127.0.0.1:9093再创建同目录下的 rules.yml。vector(1) 始终返回值 1,因此规则在下一次评估时会进入 firing,适合只验证告警链路是否打通。
groups:
- name: alertmanager-smoke-test
rules:
- alert: PipelineSmokeTest
expr: vector(1)
labels:
severity: warning
annotations:
summary: Prometheus to Alertmanager path is working修改配置后需要让 Prometheus 重新加载配置。可以重启进程;如果实例已启用生命周期重载,也可以使用对应的 reload 端点。不要只修改文件却继续观察旧进程配置。
分两端验证链路
先确认 Alertmanager 已就绪,再检查 Prometheus 中的规则状态和 Alertmanager 中的告警。下面命令依赖 curl 与 jq,并假设 Prometheus 在 127.0.0.1:9090、Alertmanager 在 127.0.0.1:9093。
curl -s -o /dev/null -w '%{http_code}\n' http://127.0.0.1:9093/-/ready
curl -s 'http://127.0.0.1:9090/api/v1/rules?type=alert' | jq -r '.data.groups[].rules[] | select(.name=="PipelineSmokeTest") | .state'
curl -s 'http://127.0.0.1:9093/api/v2/alerts' | jq -r '.[] | select(.labels.alertname=="PipelineSmokeTest") | .labels.alertname' | head -1预期输出:
200
firing
PipelineSmokeTest第一行证明 Alertmanager 可以提供服务;第二行证明 Prometheus 已触发规则;第三行才证明 Alertmanager 已收到这条告警。实际首次看到 firing 的时间取决于 evaluation_interval 和配置重载时刻。
告警没有进入 Alertmanager 时怎么查
如果 Prometheus 已经是 firing,而 Alertmanager 查不到告警,优先检查连接链路而不是继续改告警表达式。最常见的问题是目标地址写错、容器网络不可达、端口被防火墙拦截,或者 Prometheus 实际没有加载你刚修改的配置。
还可以查看 Prometheus 的运行时配置,确认 alerting 段已经生效;若使用服务发现配置 Alertmanager,则还要确认发现结果中确实存在可用目标。只有当 Prometheus 端规则触发和 Alertmanager 端告警出现这两个条件同时成立,才能判定发送链路已经打通。