可观测性与稳定性 / 系统课时
用 Recording Rule 预计算
用 Recording Rule 预计算
Grafana 仪表盘如果反复执行长窗口聚合、错误率和分位数查询,会把相同计算一次次压到 Prometheus 上。Recording Rule 可以按固定间隔提前计算 PromQL,并把结果写成新的时间序列,让仪表盘直接查询预计算指标,同时统一团队对“速率、错误率和延迟”的定义。
学习目标
- 为常用速率、错误率和延迟查询设计清晰的 Recording Rule
- 用
promtool检查规则文件,并查询新时间序列验证是否生效 - 根据抓取间隔、查询新鲜度和标签基数选择规则间隔与保留标签
Recording Rule 实际做了什么
Recording Rule 属于规则组。Prometheus 在每次规则评估时执行 expr,然后把结果以 record 指定的新指标名写回时序数据库。Grafana 后续只需查询新指标,不必每次重算原始表达式。

新规则只会从开始评估后产生样本,因此刚上线时没有天然的历史记录。它适合高频复用或计算明显较重的查询,而不是把所有简单 PromQL 都复制成新指标。
设计三个常用预计算指标
下面假设被监控 HTTP 服务已经暴露 http_requests_total{job,status} 和经典 Histogram http_request_duration_seconds_bucket{job,le}。如果你的应用使用 code 等其他标签名,应按真实指标修改,不能照抄标签。
groups:
- name: service-rollups
interval: 30s
rules:
- record: job:http_requests:rate5m
expr: sum by (job) (rate(http_requests_total[5m]))
- record: job:http_requests_5xx:ratio_rate5m
expr: |
sum by (job) (rate(http_requests_total{status=~"5.."}[5m]))
/
sum by (job) (rate(http_requests_total[5m]))
- record: job:http_request_duration_seconds:p95_rate5m
expr: |
histogram_quantile(
0.95,
sum by (job, le) (
rate(http_request_duration_seconds_bucket[5m])
)
)第一条把请求速率聚合到 job;第二条先分别聚合 5xx 请求速率和总请求速率,再相除得到错误比例;第三条先按 job,le 聚合桶速率,再计算 P95。无请求时错误率分母可能为 0,查询结果可能出现 NaN,这是需要在仪表盘或上层逻辑中明确处理的边界。
命名应保持稳定且能看出聚合层级、原始语义和操作,例如 job:http_requests:rate5m。一旦 Grafana 和告警依赖这些名称,随意重命名就会变成接口变更。
检查并加载规则
先把规则保存为 <PATH>/service-rollups.yml,再用 Prometheus 自带的 promtool 做语法和 PromQL 检查:
promtool check rules <PATH>/service-rollups.yml预期输出
命令退出码为 0,并在输出中显示规则文件检查成功;若 YAML 或 PromQL 有错误,promtool 会指出对应文件和位置。Prometheus 主配置还需要通过 rule_files 加载该文件。配置片段示例如下:
rule_files:
- "<PATH>/service-rollups.yml"修改后按你的部署方式重新加载 Prometheus 配置。规则文件只有在 Prometheus 成功加载后才会开始周期评估;可在 Prometheus 的 Rules 页面或规则 API 中确认规则组状态。
查询新时间序列验证结果
规则运行至少一个评估周期后,在 Prometheus 查询界面执行记录后的指标名:
job:http_requests:rate5m预期结果
返回按 job 聚合后的瞬时向量;每条序列只有被规则表达式保留下来的标签,样本值来自最近一次成功的规则评估。验证时不要只看“能否查到”。还应将 Recording Rule 的结果与原始表达式在同一时刻对照,确认数值一致,并检查是否误删了后续仪表盘需要的标签。
评估间隔和标签保留的取舍
规则组的 interval 覆盖全局 evaluation_interval。间隔越短,预计算结果越新,但规则执行次数和写入样本也越多;间隔过短于抓取节奏时,常常只是重复计算相同或近似相同的数据。常见做法是让规则间隔接近或略大于 scrape_interval,再根据仪表盘刷新频率和可接受的新鲜度调整。
标签决定了预计算后的查询能力和序列数量。示例中的 sum by (job) 主动丢弃 instance、method 等标签,适合服务级总览;如果还要定位到单机,就应保留 instance,并让命名层级体现这一点。反过来,把用户 ID、完整 URL 或请求 ID 这类高基数标签保留下来,会显著放大 Recording Rule 生成的时序数量。
Recording Rule 的价值不只是“查询更短”,而是把昂贵且重复的 PromQL 变成稳定的派生指标。只有当命名、间隔和标签边界都清楚时,它才能同时降低查询成本并保持足够的排障信息。