可观测性与稳定性 / 系统课时

平均响应时间为什么可能骗人

平均响应时间为什么可能骗人

平均响应时间能告诉你整体趋势,却很容易把少量极慢请求“摊薄”。当绝大多数请求很快、只有少数请求卡住时,平均值可能仍然看起来健康,因此分析服务体验时必须同时观察尾部延迟。

学习目标

  • 解释平均值为何会掩盖少量高延迟请求
  • 区分平均延迟与 P95、P99 分位数表达的含义
  • 判断什么时候应把分位数作为主要延迟指标

平均值会怎样掩盖尾部请求

假设 100 个请求中,94 个耗时 100 ms,5 个耗时 500 ms,1 个耗时 10 s。平均值约为 219 ms,看上去只是“略慢”;但那个 10 s 请求对真实用户来说已经接近超时体验。

平均值回答的是“所有请求摊在一起,每个请求平均耗时多少”,它不会告诉你慢请求集中在分布的哪个尾部。只要慢请求占比很低,它们就可能被大量快速请求稀释。

平均延迟掩盖尾部慢请求的分布对比

在 Prometheus 中算平均响应时间

如果应用暴露经典 Histogram 或 Summary 产生的累计耗时与请求计数,例如 http_request_duration_seconds_sum 和 http_request_duration_seconds_count,5 分钟窗口内的平均响应时间可以用两者的速率相除。下面假设这两个指标真实存在,并且标签集合兼容。

promql
sum(rate(http_request_duration_seconds_sum[5m]))
/
sum(rate(http_request_duration_seconds_count[5m]))

预期结果

text
返回一个以秒为单位的平均响应时间序列;具体数值随最近 5 分钟的请求流量变化。

这个查询适合看整体趋势和容量变化,但不能替代尾延迟分析。平均值稳定,只能说明“总体没有明显漂移”,不能证明所有用户都获得稳定体验。

P95 和 P99 在回答什么

P95 表示约 95% 的请求延迟不高于该值,剩余约 5% 更慢;P99 则把观察位置推进到最慢的约 1% 请求附近。它们不是“最慢请求”,也不是“95% 请求的平均值”。

分位数特别适合回答“绝大多数用户最慢会等多久”这类问题。P95 常用于持续观察服务体验,P99 对缓存穿透、偶发 GC、下游抖动或少量慢查询更敏感,但也更容易受低流量和偶发异常影响。

监控时不要只保留一个数字

延迟监控通常同时保留平均值和高分位数。平均值适合判断总体资源与吞吐变化,高分位数适合发现尾部退化;两者一起看,才能区分“所有请求都稍微变慢”和“只有少量请求突然极慢”。

当平均值正常而 P95、P99 持续升高时,应优先把注意力放到慢请求路径、下游依赖和资源抖动上,而不是被“平均响应时间正常”误导。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

平均响应时间为什么可能骗人

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通