可观测性与稳定性 / 知识点

Prometheus 告警规则速查

标签与告警粒度

让 expr 负责判断、labels 负责分类、annotations 负责说明,便于后续维护和路由;不要把复杂诊断逻辑全部塞进告警名称或描述文本。

拆分告警表达式与通知文案

目标是让告警规则的判断、分类和说明各自承担单一职责:expr 只决定是否触发,labels 提供稳定的路由与分类信息,annotations 保存面向值班人员的动态说明。完成后可以独立修改阈值、路由或通知文案,减少彼此耦合。

前置条件

  • 已明确真正决定告警成立的 PromQL 条件,不把通知文案参与判断。
  • 已确认 Alertmanager 路由实际依赖哪些标签;修改现有标签前先检查是否会改变通知接收方、抑制或聚合行为。
  • 模板变量只引用表达式结果和当前时间序列中确实存在的标签。

按职责组织规则

先把触发条件写入 expr,再把稳定的严重级别、团队等分类信息放入 labels,最后用 annotations 描述现象和当前值。下面是可直接保存为规则文件并由 Prometheus 加载的最小示例。

yaml
groups:
  - name: host-capacity
    rules:
      - alert: HostMemoryUsageHigh
        expr: (1 - node_memory_MemAvailable_bytes / node_memory_MemTotal_bytes) > 0.9
        for: 10m
        labels:
          severity: warning
          team: platform
        annotations:
          summary: "Host memory usage is high"
          description: "Memory usage on {{ $labels.instance }} is above 90%; current value is {{ $value }}."

预期结果:当表达式连续 10 分钟为真时,告警进入触发流程;severity 和 team 可供 Alertmanager 分类与路由,summary 和 description 用于向接收方解释当前现象。实际 $value 随采样数据变化。

告警规则职责拆分示意图

验证职责边界

检查 expr 时只问“什么条件应该触发告警”;检查 labels 时确认值适合路由、聚合和抑制;检查 annotations 时确认值班人员能据此理解现象。诊断建议可以写入说明,但不要为了展示文字而改变 PromQL 判断条件。

如果修改标签后通知突然进入错误接收方,应停止发布并核对 Alertmanager 的 matcher、grouping 和 inhibition 配置。若模板渲染缺少实例等信息,则检查对应标签是否存在于表达式结果中,而不是在文案里假设标签一定存在。

回滚方式

已有规则正在生产环境使用时,保留修改前版本。若职责拆分导致路由、聚合或通知内容异常,恢复原规则并重新加载;确认告警路由恢复后,再分别调整表达式、标签或文案,避免同时改变多个行为。

校验与发布

目录与阅读设置

记录一个想法

Prometheus 告警规则速查

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通