架构与系统设计 / 系统课时

从 SLO 反推监控告警

从 SLO 反推监控告警

本节从用户目标而不是主机曲线出发设计告警:先明确 SLI 与 SLO,再计算错误预算和燃烧速度,把告警阈值绑定到“预算会被多快耗尽”。最终得到的告警更接近真实用户风险,也更少被短时资源抖动干扰。

学习目标

  • 从用户体验定义可计算的 SLI 与 SLO
  • 用错误预算和 Burn Rate 判断异常是否值得告警
  • 配置并验证一个基于多时间窗口的高燃烧率告警

从用户结果定义 SLI

假设结账服务的目标是“请求成功且在可接受时间内完成”。最简单的可用性 SLI 可以定义为成功请求数占总请求数的比例:

SLI=good requestsall valid requestsSLI = \frac{good\ requests}{all\ valid\ requests}

如果 30 天 SLO 是 99.9%,允许的错误预算比例就是 1−0.999=0.0011-0.999=0.001,也就是 0.1%。对于请求型 SLO,这个预算表示允许失败的请求份额;只有在 SLI 定义本身就是“可用时间比例”时,才可以把它直接换算成允许不可用时长。

选择 SLI 时应尽量靠近用户结果。CPU 使用率、线程数和磁盘队列可以用于诊断,但它们不是用户是否成功完成结账的直接证据,因此不应单独决定是否通知值班人员。

用错误预算决定告警强度

Burn Rate 表示当前错误消耗速度是预算允许速度的多少倍:

Burn Rate=observed error ratiobudget error ratioBurn\ Rate = \frac{observed\ error\ ratio}{budget\ error\ ratio}

对 99.9% SLO 而言,预算错误比例是 0.001。如果某段时间错误率为 1.44%,Burn Rate 就是 14.4。持续以这个速度运行,大约一小时就会消耗 30 天预算的 2%,已经值得快速处理。

但单一短窗口容易被瞬时尖峰触发,单一长窗口又可能发现太慢。更稳妥的做法是同时观察一个短窗口和一个长窗口:只有两者都超过同一燃烧率阈值时才触发高优先级告警。

从 SLO 到告警的推导流程

配置双窗口高燃烧率告警

下面以 Prometheus 规则为例。假设 http_requests_total 包含 service 和 status 标签,99.9% SLO 的错误预算比例为 0.001。14.4 倍燃烧率对应 1.44% 错误率,因此短、长窗口都超过 0.0144 时才告警。

yaml
groups:
  - name: checkout-slo
    rules:
      - alert: CheckoutSLOBurnFast
        expr: |
          (
            sum(rate(http_requests_total{service="checkout",status=~"5.."}[5m]))
            /
            sum(rate(http_requests_total{service="checkout"}[5m]))
          ) > 0.0144
          and
          (
            sum(rate(http_requests_total{service="checkout",status=~"5.."}[1h]))
            /
            sum(rate(http_requests_total{service="checkout"}[1h]))
          ) > 0.0144
        for: 2m
        labels:
          severity: page
        annotations:
          summary: "checkout 正在快速消耗 SLO 错误预算"

这份配置的生效行为是:5 分钟和 1 小时错误率同时高于 1.44%,且条件持续 2 分钟时触发 page 级告警;只有 5 分钟尖峰而 1 小时窗口仍健康时不会触发。实际指标名和标签需要与采集模型一致。

保存为 checkout-slo.yml 后,可以先做语法验证:

bash
promtool check rules checkout-slo.yml

预期输出:

text
Checking checkout-slo.yml
  SUCCESS: 1 rules found

如果本地 promtool 版本输出细节不同,只要规则文件检查成功且无解析错误即可。

把资源告警降级为诊断线索

SLO 告警解决的是“用户目标是否面临风险”,资源监控则用于解释“为什么”。例如高 CPU 可能是原因,也可能只是正常扩容前的短时负载;如果成功率和延迟仍满足 SLO,就不一定值得立即呼叫值班人员。

更合适的分层是:SLO 快速燃烧触发通知,资源指标进入告警上下文;容量即将耗尽、磁盘空间不足等确定会演变成用户故障的资源风险,可以保留独立告警,但应基于剩余时间或明确阈值,而不是任意的“超过 80%”。

验收告警是否有效

上线前至少回放三类场景:短时错误尖峰、持续高错误率、资源升高但用户请求仍成功。理想结果是第一类不立刻分页,第二类稳定触发,第三类只提供诊断信号而不制造噪声。

当告警阈值从 SLO 和错误预算反推,而不是从“看起来危险”的资源曲线拍脑袋设定时,监控体系才能把注意力集中在真正威胁用户目标的事件上。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

从 SLO 反推监控告警

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通