可观测性与稳定性 / 系统课时

什么是告警抑制

什么是告警抑制

基础节点、网络或共享服务故障时,往往会同时触发大量下游告警。如果这些告警全部通知,真正的根因反而被淹没。本节用 Alertmanager 的 inhibition 规则只保留更有解释力的上游通知,并明确它与静默的区别。

学习目标

  • 理解 source、target 和 equal 在抑制规则中的作用
  • 能编写一条“上游故障抑制下游告警”的最小规则
  • 能识别标签缺失、匹配过宽等常见抑制风险

抑制解决的不是告警产生问题

抑制发生在 Alertmanager 的通知阶段。Prometheus 里的告警仍然处于 firing 状态,Alertmanager 也仍然接收到它,只是当一条 source 告警存在并满足条件时,符合 target 条件的告警不会继续发送通知。

例如同一节点已经触发 NodeDown,此时该节点上的 InstanceUnreachable 和 HighLatency 往往只是同一故障的后果。继续通知这些下游症状只会增加噪声。

上游告警存在时抑制同一对象上的下游告警

source、target 与 equal 怎样配合

一条抑制规则包含三部分:source_matchers 找到可以作为根因的告警,target_matchers 找到准备被抑制的告警,equal 则要求双方在指定标签上取值一致。

下面的完整配置表示:当某个集群中的某个节点出现严重 NodeDown 时,抑制同一 cluster、同一 node 上的两类下游告警。

yaml
route:
  receiver: default

receivers:
  - name: default

inhibit_rules:
  - name: node-down-suppresses-node-symptoms
    source_matchers:
      - 'alertname="NodeDown"'
      - 'severity="critical"'
    target_matchers:
      - 'alertname=~"InstanceUnreachable|HighLatency"'
    equal:
      - cluster
      - node

这条规则不会“关闭” target 告警。只要 source 告警仍然存在,target 的通知会被抑制;source 恢复后,如果 target 仍处于 firing,后续通知就可能重新发送。

equal 决定抑制边界

equal 是防止误伤最重要的边界。上面的规则要求 cluster 和 node 都相同,因此 A 节点的 NodeDown 不会抑制 B 节点的 HighLatency。

需要特别注意:如果 source 与 target 都缺少 equal 中的某个标签,Alertmanager 会把缺失值视作相同。因此,不能简单把一个“理论上应该存在、实际上可能缺失”的标签放进 equal,然后假设它天然安全。

抑制与静默不是一回事

抑制表达的是告警之间的依赖关系:只有当 source 告警存在时,target 才被压住,适合“根因出现后减少派生噪声”。

静默则是人为创建的一段匹配规则和时间窗口,与另一条告警是否 firing 无关,更适合维护窗口、已知故障或临时停止通知。两者都作用于通知,但触发条件完全不同。

检查规则再观察实际状态

保存为 alertmanager.yml 后,先检查配置是否可被解析。

bash
amtool check-config alertmanager.yml

预期输出的关键结果是成功。

text
Checking 'alertmanager.yml'  SUCCESS

配置通过后,验证重点不是只看“有没有收到通知”,而是同时观察 source 和 target 的状态:制造一组相同 cluster、node 标签的告警时,source 应正常通知,target 应保持 firing 但处于 inhibited;换成不同 node 后,target 不应再被这条规则抑制。

抑制规则应尽量表达真实依赖,而不是把“吵闹的告警”一股脑压掉。只有 source 能解释 target、且标签能够限定同一故障对象时,inhibition 才是在减少噪声,而不是隐藏问题。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

什么是告警抑制

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通