架构与系统设计 / 系统课时
建立延迟错误饱和度指标
建立延迟错误饱和度指标
生产监控最容易失败在“指标很多,却不知道先看什么”。本篇围绕延迟、错误、流量和饱和度建立最小核心指标集,并把用户可感知的症状与 CPU、连接池、队列等底层原因分开,形成可执行的告警与定位入口。
学习目标
- 为服务建立延迟、错误率、流量和资源饱和度四类核心指标
- 区分用户症状指标与底层原因指标,避免用资源指标替代可用性判断
- 用 Prometheus 记录规则固化可复用的服务级指标
先把症状和原因分成两层
用户症状指标回答“用户是否正在受影响”。典型指标包括请求延迟、错误率和成功吞吐,它们直接对应接口是否慢、是否失败以及服务是否还能正常处理请求。
原因指标回答“为什么会慢或失败”。CPU、内存、线程池、数据库连接池、队列长度、磁盘延迟都属于这一层。原因指标很重要,但它们不能单独代表用户体验:CPU 90% 的服务可能仍然健康,而 CPU 20% 的服务也可能因为下游超时而大量报错。
可以用下面的最小映射建立监控入口:
| 类别 | 核心问题 | 常用指标 |
|---|---|---|
| 延迟 | 请求是否变慢 | P50、P95、P99 请求时延 |
| 错误 | 请求是否失败 | 5xx 比例、业务失败比例 |
| 流量 | 系统正在处理多少请求 | QPS、并发请求数 |
| 饱和度 | 关键资源是否接近上限 | CPU、连接池占用、队列深度 |
延迟、错误和流量通常更接近症状;饱和度通常更接近原因。告警优先从症状触发,再用原因指标定位,能显著减少“资源有波动但用户无感”的噪声。
用分位数而不是平均值看延迟
平均延迟会掩盖长尾。少量极慢请求可能严重影响用户,但平均值仍然正常,因此在线服务通常至少保留 P50、P95 和 P99。
P50 代表典型体验,P95 适合观察大多数用户是否稳定,P99 更容易暴露尾部拥塞、锁竞争、慢查询或下游抖动。告警阈值应基于服务目标和历史基线,而不是给所有接口统一设置一个固定毫秒数。
延迟还应按关键维度拆分,例如路由、状态码、区域或依赖方,但不要把高基数字段直接做标签。用户 ID、订单 ID、完整 URL 等动态值会让时间序列数量失控。
固化 Prometheus 记录规则
下面示例假设应用暴露 http_server_request_duration_seconds_bucket 和 http_server_requests_total 两类指标。记录规则把常用查询预计算成服务级时间序列,便于仪表盘和告警复用。
groups:
- name: service-golden-signals
interval: 30s
rules:
- record: service:http_requests:rate5m
expr: sum by (service) (rate(http_server_requests_total[5m]))
- record: service:http_errors:ratio5m
expr: |
sum by (service) (rate(http_server_requests_total{status=~"5.."}[5m]))
/
sum by (service) (rate(http_server_requests_total[5m]))
- record: service:http_latency_p95:seconds5m
expr: |
histogram_quantile(
0.95,
sum by (service, le) (
rate(http_server_request_duration_seconds_bucket[5m])
)
)
- record: service:http_latency_p99:seconds5m
expr: |
histogram_quantile(
0.99,
sum by (service, le) (
rate(http_server_request_duration_seconds_bucket[5m])
)
)这份配置生效后,每 30 秒计算一次服务级请求速率、5xx 比例、P95 和 P99。把配置保存为当前目录的 golden-signals.yml,再使用 Prometheus 自带的 promtool 检查语法。
promtool check rules golden-signals.yml预期输出
Checking golden-signals.yml
SUCCESS: 4 rules found关键结果是四条记录规则都通过语法检查;如果 promtool 版本的提示文本略有差异,以没有规则解析错误且检查成功为准。
为饱和度选择真正的瓶颈资源
饱和度不是固定等于 CPU。对线程模型明显的服务,线程池活跃数与队列长度可能比 CPU 更早暴露瓶颈;对数据库密集型服务,连接池利用率和等待连接时间更有解释力;对消息消费者,积压量和消费延迟通常更关键。
选择饱和度指标时可以问两个问题:这个资源是否有明确容量上限,以及接近上限时是否会直接推高延迟或错误。如果答案都是否定的,它就不适合作为核心饱和度指标。
告警也不要只写“超过 80%”。更稳妥的方式是同时观察持续时间和用户症状,例如连接池利用率持续高位且 P95 延迟同步恶化。这样能把“高利用率但仍健康”和“容量不足正在影响用户”区分开。
用一条排查路径串起四类指标
遇到告警时先确认症状,再找原因。先看错误率和 P95/P99 是否异常,确认用户是否受影响;再看流量是否突增,判断是否由负载变化触发;最后检查与该服务最相关的饱和度指标。
如果延迟升高但错误率正常,常见方向是排队、下游变慢或资源接近上限;如果错误率升高但延迟不高,可能是快速失败、限流或配置错误;如果流量骤降,则要先确认入口、路由、客户端或监控采集是否异常,而不是直接把低 QPS 当成“系统更轻松”。
这套指标的价值不在于把所有资源都放进一个大盘,而在于形成稳定顺序:延迟和错误确认用户症状,流量解释负载变化,饱和度定位容量瓶颈。当每个服务都用同样的核心语义建立指标,跨团队评审和故障协作才会有共同语言。