可观测性与稳定性 / 系统课时

告警分组解决什么问题

告警分组解决什么问题

一次故障可能同时触发几十甚至几百条告警。如果每条都立即单独通知,值班人员会被消息淹没,也很难看出它们是否属于同一事件。Alertmanager 的分组会按指定标签把相关告警聚合成一个通知,并用等待与更新间隔控制通知节奏。

学习目标

  • 理解 group_by 如何决定哪些告警进入同一个通知组
  • 区分 group_wait、group_interval 与 repeat_interval 的作用
  • 为服务级故障选择不过度拆分、也不过度合并的分组键

分组改变的是通知粒度

假设 api 服务有 20 个实例,因为同一上游故障同时触发 HighErrorRate。如果按 instance 分组,可能得到 20 组通知;如果按 service 和 alertname 分组,这 20 条告警可以进入同一组,让接收者先看到“哪个服务、哪类故障”以及组内受影响实例。

多条告警按标签聚合并按时间发送通知

分组不会改变某条告警本身是否 firing,也不会把多条告警合成一条新告警。它改变的是 通知批次:一组里仍保留每条原始告警,只是由 Alertmanager 一起交给同一个 receiver。

用 group_by 定义同一组

下面的配置把 service 和 alertname 相同的告警放进同一组。instance 没有出现在 group_by 中,因此不同实例可以进入同一个服务级故障通知。

yaml
route:
  receiver: default-webhook
  group_by:
    - service
    - alertname
  group_wait: 30s
  group_interval: 5m
  repeat_interval: 4h

receivers:
  - name: default-webhook
    webhook_configs:
      - url: http://127.0.0.1:5001/alerts

这份配置适合“同一服务的同一类告警一起通知”的场景。若把 instance 加入 group_by,通知会更细;若只按 service 分组,不同告警类型也可能被合并,通知虽然更少,但故障语义会变得模糊。

保存后,可使用 amtool 的配置检查能力确认 alertmanager.yml 语法有效,再让 Alertmanager 重载配置。生效后,具有相同 service 与 alertname 的告警应进入同一通知组;验证时应观察接收端一次通知中是否包含多条匹配告警,而不是只看 Alertmanager 进程是否启动。

三个时间参数控制通知节奏

group_wait 是新告警组第一次通知前的等待时间。它给同一故障的其他告警一个短暂汇合窗口,也让抑制规则有机会先到达;如果等待太长,首条通知就会明显变慢。

group_interval 控制已有告警组在首次通知后的检查与更新节奏。组内后来新增告警或已有告警恢复时,Alertmanager 会在后续检查点决定是否发送更新通知。

repeat_interval 面向“没有新变化但故障仍持续”的情况,控制多久再次提醒一次。通常它应明显长于 group_interval,避免持续故障产生高频重复通知。

分组键怎么选

好的分组键应代表值班人员实际处理的“一个事件”。常见做法是围绕服务、告警类型、集群或环境选择标签,而不是把所有高基数标签都塞进去。

如果把 instance、pod、container 这类实例级标签加入分组键,通知数量往往快速增加;但如果只保留 severity 这类过宽标签,又可能把完全无关的服务故障混在一起。实践中可先用 service + alertname 作为基线,再根据团队处理边界增加 cluster 或 environment。

判断分组是否合理,不看“通知越少越好”,而看一条通知里的告警是否通常由同一组人、围绕同一根因处理。这样分组才能真正减少噪声,而不是把噪声藏进一个更大的消息里。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

告警分组解决什么问题

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通