可观测性与稳定性 / 系统课时
什么是告警抑制
什么是告警抑制
基础节点、网络或共享服务故障时,往往会同时触发大量下游告警。如果这些告警全部通知,真正的根因反而被淹没。本节用 Alertmanager 的 inhibition 规则只保留更有解释力的上游通知,并明确它与静默的区别。
学习目标
- 理解 source、target 和
equal在抑制规则中的作用 - 能编写一条“上游故障抑制下游告警”的最小规则
- 能识别标签缺失、匹配过宽等常见抑制风险
抑制解决的不是告警产生问题
抑制发生在 Alertmanager 的通知阶段。Prometheus 里的告警仍然处于 firing 状态,Alertmanager 也仍然接收到它,只是当一条 source 告警存在并满足条件时,符合 target 条件的告警不会继续发送通知。
例如同一节点已经触发 NodeDown,此时该节点上的 InstanceUnreachable 和 HighLatency 往往只是同一故障的后果。继续通知这些下游症状只会增加噪声。

source、target 与 equal 怎样配合
一条抑制规则包含三部分:source_matchers 找到可以作为根因的告警,target_matchers 找到准备被抑制的告警,equal 则要求双方在指定标签上取值一致。
下面的完整配置表示:当某个集群中的某个节点出现严重 NodeDown 时,抑制同一 cluster、同一 node 上的两类下游告警。
route:
receiver: default
receivers:
- name: default
inhibit_rules:
- name: node-down-suppresses-node-symptoms
source_matchers:
- 'alertname="NodeDown"'
- 'severity="critical"'
target_matchers:
- 'alertname=~"InstanceUnreachable|HighLatency"'
equal:
- cluster
- node这条规则不会“关闭” target 告警。只要 source 告警仍然存在,target 的通知会被抑制;source 恢复后,如果 target 仍处于 firing,后续通知就可能重新发送。
equal 决定抑制边界
equal 是防止误伤最重要的边界。上面的规则要求 cluster 和 node 都相同,因此 A 节点的 NodeDown 不会抑制 B 节点的 HighLatency。
需要特别注意:如果 source 与 target 都缺少 equal 中的某个标签,Alertmanager 会把缺失值视作相同。因此,不能简单把一个“理论上应该存在、实际上可能缺失”的标签放进 equal,然后假设它天然安全。
抑制与静默不是一回事
抑制表达的是告警之间的依赖关系:只有当 source 告警存在时,target 才被压住,适合“根因出现后减少派生噪声”。
静默则是人为创建的一段匹配规则和时间窗口,与另一条告警是否 firing 无关,更适合维护窗口、已知故障或临时停止通知。两者都作用于通知,但触发条件完全不同。
检查规则再观察实际状态
保存为 alertmanager.yml 后,先检查配置是否可被解析。
amtool check-config alertmanager.yml预期输出的关键结果是成功。
Checking 'alertmanager.yml' SUCCESS配置通过后,验证重点不是只看“有没有收到通知”,而是同时观察 source 和 target 的状态:制造一组相同 cluster、node 标签的告警时,source 应正常通知,target 应保持 firing 但处于 inhibited;换成不同 node 后,target 不应再被这条规则抑制。
抑制规则应尽量表达真实依赖,而不是把“吵闹的告警”一股脑压掉。只有 source 能解释 target、且标签能够限定同一故障对象时,inhibition 才是在减少噪声,而不是隐藏问题。