可观测性与稳定性 / 系统课时

用 Recording Rule 预计算

用 Recording Rule 预计算

Grafana 仪表盘如果反复执行长窗口聚合、错误率和分位数查询,会把相同计算一次次压到 Prometheus 上。Recording Rule 可以按固定间隔提前计算 PromQL,并把结果写成新的时间序列,让仪表盘直接查询预计算指标,同时统一团队对“速率、错误率和延迟”的定义。

学习目标

  • 为常用速率、错误率和延迟查询设计清晰的 Recording Rule
  • 用 promtool 检查规则文件,并查询新时间序列验证是否生效
  • 根据抓取间隔、查询新鲜度和标签基数选择规则间隔与保留标签

Recording Rule 实际做了什么

Recording Rule 属于规则组。Prometheus 在每次规则评估时执行 expr,然后把结果以 record 指定的新指标名写回时序数据库。Grafana 后续只需查询新指标,不必每次重算原始表达式。

Recording Rule 从原始指标到仪表盘查询的预计算链路

新规则只会从开始评估后产生样本,因此刚上线时没有天然的历史记录。它适合高频复用或计算明显较重的查询,而不是把所有简单 PromQL 都复制成新指标。

设计三个常用预计算指标

下面假设被监控 HTTP 服务已经暴露 http_requests_total{job,status} 和经典 Histogram http_request_duration_seconds_bucket{job,le}。如果你的应用使用 code 等其他标签名,应按真实指标修改,不能照抄标签。

yaml
groups:
  - name: service-rollups
    interval: 30s
    rules:
      - record: job:http_requests:rate5m
        expr: sum by (job) (rate(http_requests_total[5m]))

      - record: job:http_requests_5xx:ratio_rate5m
        expr: |
          sum by (job) (rate(http_requests_total{status=~"5.."}[5m]))
          /
          sum by (job) (rate(http_requests_total[5m]))

      - record: job:http_request_duration_seconds:p95_rate5m
        expr: |
          histogram_quantile(
            0.95,
            sum by (job, le) (
              rate(http_request_duration_seconds_bucket[5m])
            )
          )

第一条把请求速率聚合到 job;第二条先分别聚合 5xx 请求速率和总请求速率,再相除得到错误比例;第三条先按 job,le 聚合桶速率,再计算 P95。无请求时错误率分母可能为 0,查询结果可能出现 NaN,这是需要在仪表盘或上层逻辑中明确处理的边界。

命名应保持稳定且能看出聚合层级、原始语义和操作,例如 job:http_requests:rate5m。一旦 Grafana 和告警依赖这些名称,随意重命名就会变成接口变更。

检查并加载规则

先把规则保存为 <PATH>/service-rollups.yml,再用 Prometheus 自带的 promtool 做语法和 PromQL 检查:

bash
promtool check rules <PATH>/service-rollups.yml

预期输出

text
命令退出码为 0,并在输出中显示规则文件检查成功;若 YAML 或 PromQL 有错误,promtool 会指出对应文件和位置。

Prometheus 主配置还需要通过 rule_files 加载该文件。配置片段示例如下:

yaml
rule_files:
  - "<PATH>/service-rollups.yml"

修改后按你的部署方式重新加载 Prometheus 配置。规则文件只有在 Prometheus 成功加载后才会开始周期评估;可在 Prometheus 的 Rules 页面或规则 API 中确认规则组状态。

查询新时间序列验证结果

规则运行至少一个评估周期后,在 Prometheus 查询界面执行记录后的指标名:

promql
job:http_requests:rate5m

预期结果

text
返回按 job 聚合后的瞬时向量;每条序列只有被规则表达式保留下来的标签,样本值来自最近一次成功的规则评估。

验证时不要只看“能否查到”。还应将 Recording Rule 的结果与原始表达式在同一时刻对照,确认数值一致,并检查是否误删了后续仪表盘需要的标签。

评估间隔和标签保留的取舍

规则组的 interval 覆盖全局 evaluation_interval。间隔越短,预计算结果越新,但规则执行次数和写入样本也越多;间隔过短于抓取节奏时,常常只是重复计算相同或近似相同的数据。常见做法是让规则间隔接近或略大于 scrape_interval,再根据仪表盘刷新频率和可接受的新鲜度调整。

标签决定了预计算后的查询能力和序列数量。示例中的 sum by (job) 主动丢弃 instance、method 等标签,适合服务级总览;如果还要定位到单机,就应保留 instance,并让命名层级体现这一点。反过来,把用户 ID、完整 URL 或请求 ID 这类高基数标签保留下来,会显著放大 Recording Rule 生成的时序数量。

Recording Rule 的价值不只是“查询更短”,而是把昂贵且重复的 PromQL 变成稳定的派生指标。只有当命名、间隔和标签边界都清楚时,它才能同时降低查询成本并保持足够的排障信息。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

用 Recording Rule 预计算

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通