可观测性与稳定性 / 系统课时
怎样计算 P95 和 P99 延迟
怎样计算 P95 和 P99 延迟
Prometheus 的经典 Histogram 不直接保存“P95”这个值,而是把请求按延迟上界累计到多个 Bucket 中。要得到 P95、P99,需要先对 Bucket 计数求速率并正确聚合,再交给 histogram_quantile() 估算分位数。
学习目标
- 解释 Histogram Bucket 的累计计数含义
- 使用
histogram_quantile()计算 P95 和 P99 - 避免聚合标签错误导致的分位数失真
Histogram Bucket 保存的是什么
假设指标名为 http_request_duration_seconds_bucket,标签 le="0.1" 表示“响应时间小于等于 0.1 秒的累计请求数”。更大的 Bucket 会包含更小 Bucket 已经统计过的请求,因此这些计数是累计的,而不是互斥区间计数。
经典 Histogram 通常还会有 le="+Inf" 的最终 Bucket,它覆盖全部观测值。histogram_quantile() 正是利用这些有序 Bucket 的累计分布,在目标分位点所在区间内进行估算。

计算 P95
如果要计算所有实例合并后的 5 分钟 P95,关键是保留 le 标签,因为它表示每个 Bucket 的边界。先对计数器使用 rate(),再按 le 聚合。
histogram_quantile(
0.95,
sum by (le) (
rate(http_request_duration_seconds_bucket[5m])
)
)预期结果
返回最近 5 分钟请求延迟的 P95 估算值,单位与 Histogram 指标一致;本例为秒。计算 P99 时只需把分位参数改为 0.99。如果还需要按接口或服务维度分别计算,应在聚合时保留对应标签,例如 sum by (le, route),否则不同接口会被混成一个整体分布。
聚合顺序为什么重要
Histogram 的分位数应该先把同一维度下各实例的 Bucket 速率合并,再计算分位数。不要先对每个实例分别算 P95,再对这些 P95 做平均,因为“分位数的平均值”通常不等于整体请求分布的分位数。
同样,不要在 sum by (...) 时丢掉 le。一旦 Bucket 边界标签被聚合掉,histogram_quantile() 就失去了重建累计分布所需的信息。
怎样判断结果是否可信
先确认观测窗口内有足够请求量,再检查 Bucket 是否覆盖真实延迟范围。如果大量请求都落进 +Inf Bucket,说明最高有限边界太小;如果关键 SLO 附近没有足够细的 Bucket,分位数虽然能算出来,但精度可能不足。
实际看板中通常同时放请求量、错误率、P95 和 P99。这样当 P99 突然升高时,可以立刻判断这是高流量下的系统性退化,还是低流量下由少量样本造成的尖峰。