架构与系统设计 / 系统课时

建立延迟错误饱和度指标

建立延迟错误饱和度指标

生产监控最容易失败在“指标很多,却不知道先看什么”。本篇围绕延迟、错误、流量和饱和度建立最小核心指标集,并把用户可感知的症状与 CPU、连接池、队列等底层原因分开,形成可执行的告警与定位入口。

学习目标

  • 为服务建立延迟、错误率、流量和资源饱和度四类核心指标
  • 区分用户症状指标与底层原因指标,避免用资源指标替代可用性判断
  • 用 Prometheus 记录规则固化可复用的服务级指标

先把症状和原因分成两层

用户症状指标回答“用户是否正在受影响”。典型指标包括请求延迟、错误率和成功吞吐,它们直接对应接口是否慢、是否失败以及服务是否还能正常处理请求。

原因指标回答“为什么会慢或失败”。CPU、内存、线程池、数据库连接池、队列长度、磁盘延迟都属于这一层。原因指标很重要,但它们不能单独代表用户体验:CPU 90% 的服务可能仍然健康,而 CPU 20% 的服务也可能因为下游超时而大量报错。

可以用下面的最小映射建立监控入口:

类别 核心问题 常用指标
延迟 请求是否变慢 P50、P95、P99 请求时延
错误 请求是否失败 5xx 比例、业务失败比例
流量 系统正在处理多少请求 QPS、并发请求数
饱和度 关键资源是否接近上限 CPU、连接池占用、队列深度

延迟、错误和流量通常更接近症状;饱和度通常更接近原因。告警优先从症状触发,再用原因指标定位,能显著减少“资源有波动但用户无感”的噪声。

用分位数而不是平均值看延迟

平均延迟会掩盖长尾。少量极慢请求可能严重影响用户,但平均值仍然正常,因此在线服务通常至少保留 P50、P95 和 P99。

P50 代表典型体验,P95 适合观察大多数用户是否稳定,P99 更容易暴露尾部拥塞、锁竞争、慢查询或下游抖动。告警阈值应基于服务目标和历史基线,而不是给所有接口统一设置一个固定毫秒数。

延迟还应按关键维度拆分,例如路由、状态码、区域或依赖方,但不要把高基数字段直接做标签。用户 ID、订单 ID、完整 URL 等动态值会让时间序列数量失控。

固化 Prometheus 记录规则

下面示例假设应用暴露 http_server_request_duration_seconds_bucket 和 http_server_requests_total 两类指标。记录规则把常用查询预计算成服务级时间序列,便于仪表盘和告警复用。

yaml
groups:
  - name: service-golden-signals
    interval: 30s
    rules:
      - record: service:http_requests:rate5m
        expr: sum by (service) (rate(http_server_requests_total[5m]))

      - record: service:http_errors:ratio5m
        expr: |
          sum by (service) (rate(http_server_requests_total{status=~"5.."}[5m]))
          /
          sum by (service) (rate(http_server_requests_total[5m]))

      - record: service:http_latency_p95:seconds5m
        expr: |
          histogram_quantile(
            0.95,
            sum by (service, le) (
              rate(http_server_request_duration_seconds_bucket[5m])
            )
          )

      - record: service:http_latency_p99:seconds5m
        expr: |
          histogram_quantile(
            0.99,
            sum by (service, le) (
              rate(http_server_request_duration_seconds_bucket[5m])
            )
          )

这份配置生效后,每 30 秒计算一次服务级请求速率、5xx 比例、P95 和 P99。把配置保存为当前目录的 golden-signals.yml,再使用 Prometheus 自带的 promtool 检查语法。

bash
promtool check rules golden-signals.yml

预期输出

text
Checking golden-signals.yml
  SUCCESS: 4 rules found

关键结果是四条记录规则都通过语法检查;如果 promtool 版本的提示文本略有差异,以没有规则解析错误且检查成功为准。

为饱和度选择真正的瓶颈资源

饱和度不是固定等于 CPU。对线程模型明显的服务,线程池活跃数与队列长度可能比 CPU 更早暴露瓶颈;对数据库密集型服务,连接池利用率和等待连接时间更有解释力;对消息消费者,积压量和消费延迟通常更关键。

选择饱和度指标时可以问两个问题:这个资源是否有明确容量上限,以及接近上限时是否会直接推高延迟或错误。如果答案都是否定的,它就不适合作为核心饱和度指标。

告警也不要只写“超过 80%”。更稳妥的方式是同时观察持续时间和用户症状,例如连接池利用率持续高位且 P95 延迟同步恶化。这样能把“高利用率但仍健康”和“容量不足正在影响用户”区分开。

用一条排查路径串起四类指标

遇到告警时先确认症状,再找原因。先看错误率和 P95/P99 是否异常,确认用户是否受影响;再看流量是否突增,判断是否由负载变化触发;最后检查与该服务最相关的饱和度指标。

如果延迟升高但错误率正常,常见方向是排队、下游变慢或资源接近上限;如果错误率升高但延迟不高,可能是快速失败、限流或配置错误;如果流量骤降,则要先确认入口、路由、客户端或监控采集是否异常,而不是直接把低 QPS 当成“系统更轻松”。

这套指标的价值不在于把所有资源都放进一个大盘,而在于形成稳定顺序:延迟和错误确认用户症状,流量解释负载变化,饱和度定位容量瓶颈。当每个服务都用同样的核心语义建立指标,跨团队评审和故障协作才会有共同语言。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

建立延迟错误饱和度指标

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通