可观测性与稳定性 / 系统课时
配置静默与维护窗口
配置静默与维护窗口
计划发布、数据库切换或主机检修时,告警条件可能会真实成立,但并不需要通知值班人员。正确做法不是临时删规则,而是用范围明确、自动到期的 Silence 把“已知且可接受”的告警暂时静默,并在维护结束后确认静默已经失效。
学习目标
- 使用 matcher 把 Silence 限定到明确的告警集合
- 为维护窗口设置持续时间、创建人和原因
- 区分静默、抑制与规则禁用的适用边界
Silence 只改变通知行为
Alertmanager 的 Silence 作用在通知阶段。满足 matcher 的告警仍会从 Prometheus 发送到 Alertmanager,告警状态也仍然存在,只是命中的通知不会继续发送。因此,Silence 适合“问题已知、期间不需要打扰”的维护场景,而不是修复告警条件。
维护窗口最重要的两个约束是范围和到期时间。如果只按 alertname 静默,可能把其他服务的同名告警一起吞掉;如果持续时间远大于实际维护时间,维护结束后还可能继续漏报。
用 matcher 创建有边界的静默
假设只对生产环境 api 服务的 InstanceDown 告警静默 90 分钟,可以使用 amtool。<HOST> 和 <PORT> 需要替换成实际 Alertmanager 地址。
ALERTMANAGER_URL="http://<HOST>:<PORT>"
amtool --alertmanager.url="$ALERTMANAGER_URL" silence add alertname=InstanceDown env=prod service=api --duration=90m --author="ops" --comment="planned maintenance"预期输出:
<ID><ID> 是新建 Silence 的标识,实际值每次不同。创建后应立即查询活动 Silence,核对 matcher 和结束时间:
ALERTMANAGER_URL="http://<HOST>:<PORT>"
amtool --alertmanager.url="$ALERTMANAGER_URL" silence query预期结果:
查询结果中可以找到刚创建的 Silence,并看到 alertname=InstanceDown、env=prod、service=api 等 matcher 以及对应的结束时间。需要覆盖多个标签值时可以使用正则 matcher,但范围仍应尽可能小。例如维护只涉及 api 服务,就不要为了省事扩大到整个 prod 环境。
把维护窗口当成有生命周期的变更
一个可靠的维护窗口应能回答维护什么、预计持续多久、谁创建以及为什么创建。Silence 的持续时间可以略覆盖操作窗口,但不应为了“保险”设置成数天甚至数周。
如果维护提前完成,可以让对应 Silence 立即过期:
ALERTMANAGER_URL="http://<HOST>:<PORT>"
amtool --alertmanager.url="$ALERTMANAGER_URL" silence expire <ID>预期结果:
命令成功执行后,该 Silence 不再处于 active 状态;之后仍满足条件的告警会重新进入正常通知流程。区分静默、抑制与规则禁用
| 机制 | 作用位置 | 适合场景 | 主要风险 |
|---|---|---|---|
| Silence | Alertmanager 通知阶段 | 已知维护、临时屏蔽特定告警 | matcher 过宽或到期过晚导致漏报 |
| Inhibition | Alertmanager 关联判断 | 上游故障出现后压制下游派生告警 | 条件设计错误会隐藏本应独立处理的问题 |
| 禁用告警规则 | Prometheus 规则计算阶段 | 一段时间内确实不应继续计算某条规则 | 告警不再产生,遗漏更难被发现 |
维护窗口通常优先使用 Silence,因为它保留告警事实,只暂时改变通知行为。如果是“数据库宕机后不必同时收到几十个依赖服务告警”,更适合使用 Inhibition;只有确认规则本身暂时就不应该执行时,才考虑禁用规则。
维护结束后再检查一次活动 Silence,确认没有异常的到期时间或过宽 matcher。这样既能减少计划内噪声,又不会留下长期漏报入口。