可观测性与稳定性 / 系统课时

不同告警怎样发送给不同人员

不同告警怎样发送给不同人员

当所有告警都发进同一个群或邮箱,值班人员很快会被无关信息淹没。本节用 Alertmanager 的路由树按环境、服务和严重程度分流,并说明匹配顺序与 continue 如何决定一条告警最终进入哪些接收器。

学习目标

  • 能根据 env、service、severity 等标签编写分层路由
  • 理解“首个匹配即停止”和 continue: true 的差异
  • 能用 amtool 检查路由配置的基本合法性

路由树怎样决定接收器

Alertmanager 的 route 是一棵从根节点向下匹配的树。每条告警先进入根路由,再按子路由的 matchers 判断是否命中;如果子路由没有覆盖分组或时间参数,会继承父路由配置。

实际设计时应先约定稳定标签。例如生产环境使用 env="prod",数据库服务使用 service="mysql",最高优先级使用 severity="critical"。标签越稳定,后续路由越容易维护。

Alertmanager 按标签把告警分流到不同接收器

用标签编写分流规则

下面给出一个完整的最小配置。接收器只定义名称,重点演示路由逻辑;生产环境还需要在对应 receiver 中补充邮件、Webhook、PagerDuty 等实际通知集成。

yaml
route:
  receiver: default
  group_by: [alertname, env, service]
  group_wait: 30s
  group_interval: 5m
  repeat_interval: 4h
  routes:
    - receiver: prod-critical
      matchers:
        - 'env="prod"'
        - 'severity="critical"'
      continue: true

    - receiver: database-team
      matchers:
        - 'service="mysql"'

    - receiver: staging
      matchers:
        - 'env="staging"'

receivers:
  - name: default
  - name: prod-critical
  - name: database-team
  - name: staging

这段配置的关键点不是“条件写得越多越好”,而是先把组织责任映射成标签。生产严重告警先进入 prod-critical;因为该节点设置了 continue: true,如果同时还是 MySQL 告警,还会继续命中 database-team。

如果去掉 continue: true,一旦命中 prod-critical,同级后续路由就不会再参与匹配。由此可见,兄弟路由的顺序本身就是配置语义的一部分。

先决定单发还是多发

多数告警只应该交给一个主要责任方,此时保持默认的 continue: false 更容易控制通知数量。只有确实需要“一条告警同时通知平台值班和业务团队”时,才在前面的匹配节点上开启 continue: true。

设计时可以按这个顺序判断:

  1. 先确定兜底接收器,保证没有命中任何子路由的告警也不会丢失。
  2. 再放置最具体、优先级最高的规则,例如生产环境严重告警。
  3. 最后添加按服务或环境划分的通用规则,并检查是否需要继续匹配后续兄弟节点。

验证配置是否合法

把配置保存为 alertmanager.yml 后,可使用随 Alertmanager 提供的 amtool 做语法与结构检查。

bash
amtool check-config alertmanager.yml

预期输出的关键结果是检查成功;不同版本可能还会输出 receiver、route 等统计行。

text
Checking 'alertmanager.yml'  SUCCESS

如果检查失败,应先修复 YAML 缩进、matcher 引号或接收器名称引用错误,再加载到 Alertmanager。路由配置通过语法检查后,还应选几组真实标签做人工推演:分别验证生产严重告警、数据库告警、测试环境告警以及没有任何匹配条件的告警,确认它们进入预期接收器。

让标签体系先于路由复杂度

路由本身并不负责判断“谁该处理故障”,它只是执行标签到接收器的映射。真正可维护的方案通常只有少量稳定维度,例如环境、团队、服务和严重程度。先统一这些标签,再写路由树,远比不断叠加正则和例外规则更可靠。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

不同告警怎样发送给不同人员

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通