可观测性与稳定性 / 技术文章

线上告警太多没人看怎么治理

线上告警太多时,真正的问题通常不是通知渠道不够,而是没有区分故障信号、风险信号和状态信息。这套方法适合 Linux 运维、SRE 以及需要独立负责部署、监控和故障处理的后端工程师,目标是把告警从“什么都报”收敛到“值得处理的事情才叫醒人”。

先判断哪些告警真的值得通知

告警治理的第一步不是删规则,而是把每条告警放回它对应的处置动作里。一个告警至少应该能回答三个问题:发生了什么、谁需要处理、处理后如何确认恢复。

可以把信号分成三类:需要立即人工介入的故障、需要工作时间处理的风险,以及只用于观察的指标状态。第三类通常不应该直接进入值班通知渠道。

例如,磁盘使用率达到阈值并不自动等于业务故障。真正值得通知的条件可能是空间持续下降、预计很快写满,并且对应节点存在实际写入压力。告警规则因此应该围绕“可行动性”设计,而不是围绕“指标发生变化”设计。

用分级控制通知强度

建议先定义告警等级,再决定通知方式,而不是每条规则都直接发送同样的消息。常见做法是把影响服务可用性的事件与容量风险、单实例异常、恢复通知分开处理。

严重故障应满足明确的升级条件,例如服务不可用、核心依赖大面积失败或请求错误持续超过业务可接受范围。普通风险可以进入工单、值班频道或日报,而不必在夜间唤醒人员。

告警消息也要带上足够的上下文,例如服务名、实例、当前值、持续时间、影响范围、关联仪表盘和处理入口。缺少这些信息时,值班人员往往需要先花时间搜索上下文,进一步放大告警疲劳。

去重、抑制和聚合要分清

大量重复告警通常来自同一个根因,却被不同实例、不同指标和不同链路分别放大。治理时要先找到共同维度,再决定应该去重、抑制还是聚合。

Alertmanager 按完整标签集合识别同一条告警,因此易变的当前值应放在注释里,避免每次变化都形成新身份。抑制用于在上游严重告警活动期间暂停发送已被覆盖的下游通知。例如确认数据库不可用后,只抑制具有相同集群和依赖标签的连接失败告警,并确保用于匹配的标签实际存在。聚合把拥有指定相同标签的多条告警放在同一组通知中,各实例的详情仍可单独查看。

Alertmanager 的根路由需要一个在 receivers 中声明的默认接收器。下面配置假设告警带有 cluster 和 service 标签,且运行环境内有接收请求的 Webhook 服务。

yaml
route:
  receiver: sre-webhook
  group_by: [alertname, cluster, service]
  group_wait: 30s
  group_interval: 5m
  repeat_interval: 4h
receivers:
  - name: sre-webhook
    webhook_configs:
      - url: "http://127.0.0.1:9000/alerts"

保存为 alertmanager.yml 后,可用 amtool check-config alertmanager.yml 检查配置,校验时不会发送通知。首个告警创建分组后最多等待约 30 秒再发送首条通知。已有分组中新进入或恢复的告警按 5 分钟的分组间隔检查和通知。内容未变化且告警仍未恢复时,按 4 小时的重复间隔提醒,实际还受通知日志保留期等设置约束。若分组中的告警在首轮等待结束前已恢复,可能没有通知。参见 Alertmanager 路由配置。

这些参数不是越大越好。聚合等待过久会延迟通知,重复间隔过长又可能让仍未处理的故障失去可见性,应结合实际值班流程验证。

从告警规则反查噪声来源

当某个通知渠道长期刷屏时,不要直接调高所有阈值。先统计告警数量、重复率、恢复时间以及最终产生人工动作的比例,再定位是哪一类规则制造了噪声。

若想查看当前有多少条告警序列正处于 firing,可按名称汇总 ALERTS 的即时样本:

promql
count by (alertname) (ALERTS{alertstate="firing"})

同一时刻三台实例各有一条 HighCPU 正在 firing,单套 Prometheus 上该名称就显示 3。若改用 count_over_time(ALERTS{alertstate="firing"}[1h]),得到的是每条序列在这一小时的样本数。持续越久、评估越频繁,样本通常越多。这个值适合辅助寻找长期占用告警状态的规则。要统计开始 firing 的次数、接收人收到的通知数或实际事故数,应分别使用状态变更记录、通知接收日志或事故工单,并按对应身份去重。接入多个 Prometheus 副本时,也要先明确是否去掉副本重复。参见 Prometheus 告警状态序列和查询函数说明。

进一步可以建立“告警 → 事件 → 人工动作”的映射。某条规则触发很多次,却几乎从未导致处理动作,通常值得重新审视阈值、持续时间、通知级别或规则本身的必要性。

用持续时间减少瞬时抖动

许多低价值告警并不是阈值错了,而是条件持续时间太短。CPU 瞬时升高、单次探针失败、网络短暂抖动都可能触发规则,但并不足以构成需要人工介入的事件。

Prometheus 告警可以使用 for 要求条件持续一段时间:

yaml
groups:
  - name: host-alerts
    rules:
      - alert: HighCPU
        expr: 100 - (avg by (instance) (rate(node_cpu_seconds_total{mode="idle"}[5m])) * 100) > 90
        for: 10m
        labels:
          severity: warning
        annotations:
          summary: "CPU 持续过高"

预期结果

text
条件刚超过阈值:告警保持 pending
条件连续满足 for 时间:告警进入 firing
条件恢复且下一次评估不再返回对应序列:本例未配置 keep_firing_for,告警不再处于活动状态

for 的作用是过滤短暂波动,而不是掩盖持续故障。设置之前需要确认:一次真实故障通常能容忍多长时间,以及这段等待是否会影响故障响应目标。

建立告警生命周期和复盘机制

告警治理不能只在事故后临时清理。每条告警都应该有明确的负责人、目的、触发依据、通知级别和失效条件。服务下线、架构调整、流量变化后,应同步检查关联规则。

可以用一个简单的生命周期管理规则:新建时验证触发条件和处置动作,首次上线观察误报与漏报,稳定后持续统计通知量,连续产生低价值事件时进入治理队列,服务变更后重新验证。

评估治理结果时,不要只看“告警数量下降了多少”。更有价值的指标包括单位时间可行动告警数、重复通知比例、从触发到人工确认的时间,以及真正需要升级处理的事件占比。只有在降低噪声的同时保持关键故障的可见性,治理才算完成。

目录与阅读设置

记录一个想法

线上告警太多没人看怎么治理

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通