可观测性与稳定性 / 知识点

Prometheus 告警规则速查

基础告警

用布尔条件直接触发告警,适合 CPU、内存、磁盘等已有明确阈值的指标;先确认指标语义、单位和标签粒度,避免阈值写对但业务含义错误。

创建基础阈值告警

当某个 Prometheus 指标已经有明确阈值时,可以直接用 PromQL 表达式定义告警。完成后应能通过规则检查,并在指标越过阈值时看到告警进入活动状态。

前置条件

  • Prometheus 已正常抓取目标指标,并能在查询页面执行对应 PromQL。
  • 已确认指标的单位、标签和聚合粒度,避免把比例与百分比、单实例与集群聚合混用。
  • 修改规则文件前保留当前可用版本;生产环境应先执行规则检查再加载。

定义规则

下面以实例 CPU 使用率持续高于 80% 的阈值表达式为例。instance:cpu_usage:ratio 表示一个已存在且取值范围为 0~1 的记录规则;实际环境应替换为已经验证过的指标或表达式。

yaml
groups:
  - name: host-alerts
    rules:
      - alert: HighCpuUsage
        expr: instance:cpu_usage:ratio > 0.8
        labels:
          severity: warning
        annotations:
          summary: "CPU usage is high on {{ $labels.instance }}"

该配置是规则文件片段,需放入 Prometheus 已通过 rule_files 加载的规则文件中。保存后先检查语法,不要直接依赖服务重载发现错误。

bash
promtool check rules <PATH>

预期输出:规则合法时检查成功;具体文件名随 <PATH> 不同而变化。

text
SUCCESS: <PATH> found 1 rules

加载并验证

检查成功后按当前部署方式重新加载 Prometheus,再查看规则与告警状态。若启用了生命周期重载,可向 /-/reload 发送请求;否则应使用部署环境规定的重启或配置发布方式。

验证时确认 HighCpuUsage 已被加载,并检查表达式当前返回的时间序列。条件成立时,没有 for 的规则通常会在后续规则评估中进入 firing;实际出现时间受规则评估周期影响。

失败处理

如果规则未出现,先检查规则文件是否包含在 rule_files 中,再检查重载是否成功。如果规则存在但始终不触发,应直接执行 expr 中的 PromQL,确认指标名称、单位、标签和阈值,而不是先降低阈值。

回滚

新规则造成误报或加载失败时,恢复修改前的规则文件,再执行 promtool check rules <PATH> 并重新加载 Prometheus。确认旧规则恢复后,再离线修正表达式和标签粒度。

PromQL 告警表达式

可用性与缺失检测

资源与容量告警

延迟与饱和度告警

标签与告警粒度

目录与阅读设置

记录一个想法

Prometheus 告警规则速查

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通