可观测性与稳定性 / 系统课时

怎样把告警发送给 Alertmanager

怎样把告警发送给 Alertmanager

Prometheus 只负责计算告警规则并产生告警状态,真正的分组、路由和通知由 Alertmanager 接手。本节完成一条最小可验证链路:配置 Prometheus 的 Alertmanager 目标,创建一条必定触发的测试规则,再分别从 Prometheus 与 Alertmanager API 确认告警已经送达。

学习目标

  • 配置 Prometheus 的 alerting.alertmanagers 目标
  • 用一条最小测试规则验证告警从 Prometheus 进入 Alertmanager
  • 区分“规则已触发”和“Alertmanager 已收到”这两个检查点

告警是怎样交给 Alertmanager 的

Prometheus 每次评估规则后,会把处于 firing 状态的告警发送到已配置的 Alertmanager。这里最容易混淆的是:Prometheus 页面看到 firing,只能证明规则计算成功;要证明传输链路正常,还要在 Alertmanager 侧看到同一条告警。

Prometheus 将 firing 告警发送到 Alertmanager 的数据流

Alertmanager 地址必须从 Prometheus 进程所在环境 可访问。若两者运行在不同容器中,127.0.0.1:9093 通常是错误的,因为它会指向 Prometheus 自己的容器;此时应改成可解析的 Alertmanager 服务名或实际主机地址。

配置 Prometheus 的告警目标

下面给出一个最小 prometheus.yml。rule_files 让 Prometheus 加载测试规则,alerting.alertmanagers 指定 Alertmanager 目标。

yaml
global:
  evaluation_interval: 15s

rule_files:
  - rules.yml

alerting:
  alertmanagers:
    - static_configs:
        - targets:
            - 127.0.0.1:9093

再创建同目录下的 rules.yml。vector(1) 始终返回值 1,因此规则在下一次评估时会进入 firing,适合只验证告警链路是否打通。

yaml
groups:
  - name: alertmanager-smoke-test
    rules:
      - alert: PipelineSmokeTest
        expr: vector(1)
        labels:
          severity: warning
        annotations:
          summary: Prometheus to Alertmanager path is working

修改配置后需要让 Prometheus 重新加载配置。可以重启进程;如果实例已启用生命周期重载,也可以使用对应的 reload 端点。不要只修改文件却继续观察旧进程配置。

分两端验证链路

先确认 Alertmanager 已就绪,再检查 Prometheus 中的规则状态和 Alertmanager 中的告警。下面命令依赖 curl 与 jq,并假设 Prometheus 在 127.0.0.1:9090、Alertmanager 在 127.0.0.1:9093。

bash
curl -s -o /dev/null -w '%{http_code}\n' http://127.0.0.1:9093/-/ready
curl -s 'http://127.0.0.1:9090/api/v1/rules?type=alert' | jq -r '.data.groups[].rules[] | select(.name=="PipelineSmokeTest") | .state'
curl -s 'http://127.0.0.1:9093/api/v2/alerts' | jq -r '.[] | select(.labels.alertname=="PipelineSmokeTest") | .labels.alertname' | head -1

预期输出:

text
200
firing
PipelineSmokeTest

第一行证明 Alertmanager 可以提供服务;第二行证明 Prometheus 已触发规则;第三行才证明 Alertmanager 已收到这条告警。实际首次看到 firing 的时间取决于 evaluation_interval 和配置重载时刻。

告警没有进入 Alertmanager 时怎么查

如果 Prometheus 已经是 firing,而 Alertmanager 查不到告警,优先检查连接链路而不是继续改告警表达式。最常见的问题是目标地址写错、容器网络不可达、端口被防火墙拦截,或者 Prometheus 实际没有加载你刚修改的配置。

还可以查看 Prometheus 的运行时配置,确认 alerting 段已经生效;若使用服务发现配置 Alertmanager,则还要确认发现结果中确实存在可用目标。只有当 Prometheus 端规则触发和 Alertmanager 端告警出现这两个条件同时成立,才能判定发送链路已经打通。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

怎样把告警发送给 Alertmanager

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通