可观测性与稳定性 / 知识点
Prometheus 告警规则速查
标签与告警粒度
让 expr 负责判断、labels 负责分类、annotations 负责说明,便于后续维护和路由;不要把复杂诊断逻辑全部塞进告警名称或描述文本。
拆分告警表达式与通知文案
目标是让告警规则的判断、分类和说明各自承担单一职责:expr 只决定是否触发,labels 提供稳定的路由与分类信息,annotations 保存面向值班人员的动态说明。完成后可以独立修改阈值、路由或通知文案,减少彼此耦合。
前置条件
- 已明确真正决定告警成立的 PromQL 条件,不把通知文案参与判断。
- 已确认 Alertmanager 路由实际依赖哪些标签;修改现有标签前先检查是否会改变通知接收方、抑制或聚合行为。
- 模板变量只引用表达式结果和当前时间序列中确实存在的标签。
按职责组织规则
先把触发条件写入 expr,再把稳定的严重级别、团队等分类信息放入 labels,最后用 annotations 描述现象和当前值。下面是可直接保存为规则文件并由 Prometheus 加载的最小示例。
groups:
- name: host-capacity
rules:
- alert: HostMemoryUsageHigh
expr: (1 - node_memory_MemAvailable_bytes / node_memory_MemTotal_bytes) > 0.9
for: 10m
labels:
severity: warning
team: platform
annotations:
summary: "Host memory usage is high"
description: "Memory usage on {{ $labels.instance }} is above 90%; current value is {{ $value }}."预期结果:当表达式连续 10 分钟为真时,告警进入触发流程;severity 和 team 可供 Alertmanager 分类与路由,summary 和 description 用于向接收方解释当前现象。实际 $value 随采样数据变化。

验证职责边界
检查 expr 时只问“什么条件应该触发告警”;检查 labels 时确认值适合路由、聚合和抑制;检查 annotations 时确认值班人员能据此理解现象。诊断建议可以写入说明,但不要为了展示文字而改变 PromQL 判断条件。
如果修改标签后通知突然进入错误接收方,应停止发布并核对 Alertmanager 的 matcher、grouping 和 inhibition 配置。若模板渲染缺少实例等信息,则检查对应标签是否存在于表达式结果中,而不是在文案里假设标签一定存在。
回滚方式
已有规则正在生产环境使用时,保留修改前版本。若职责拆分导致路由、聚合或通知内容异常,恢复原规则并重新加载;确认告警路由恢复后,再分别调整表达式、标签或文案,避免同时改变多个行为。
校验与发布
