可观测性与稳定性 / 系统课时
怎样统计接口平均耗时
怎样统计接口平均耗时
接口耗时分析不能只找一条最慢日志,而要把同一接口在固定时间窗口内的请求聚合起来,同时观察平均耗时、最大耗时和请求数量。这样既能判断整体响应水平,也能避免被单个异常请求或过小样本误导。
学习目标
- 能按接口计算平均耗时和最大耗时
- 能把耗时指标与请求数量放在同一聚合结果中分析
- 能识别缺失耗时字段和小样本带来的判断偏差
准备可聚合的耗时字段
性能统计的前提是响应时间已经作为数值字段写入日志,例如 duration_ms 表示从接收请求到完成响应的毫秒数。如果耗时被保存成 "125ms" 这样的字符串,就无法直接执行数值平均,应在应用输出或采集处理阶段先转换成数字。
接口字段同样应使用稳定的路由或路径字段。本节假设接口为 path.keyword,耗时为 duration_ms,一条访问日志代表一次请求。
平均值的计算本质上是有效耗时之和除以具有耗时数据的请求数。因此,如果部分日志缺少 duration_ms,必须知道平均值覆盖了多少样本,不能直接把它当成该接口全部请求的完整表现。
同时计算平均值、最大值和请求量
下面查询过去 15 分钟各接口的平均耗时和最大耗时,并保留 bucket 的请求数量。measured_requests 额外统计实际包含 duration_ms 的日志数,便于判断耗时数据是否完整。将 <PORT> 替换为实际 Elasticsearch HTTP 端口。
curl -s -X POST 'http://localhost:<PORT>/app-logs-*/_search?filter_path=aggregations.by_path.buckets' -H 'Content-Type: application/json' -d '{
"size": 0,
"query": {
"range": {
"@timestamp": {
"gte": "now-15m",
"lte": "now"
}
}
},
"aggs": {
"by_path": {
"terms": {
"field": "path.keyword",
"size": 10,
"order": {
"avg_duration": "desc"
}
},
"aggs": {
"avg_duration": {
"avg": {
"field": "duration_ms"
}
},
"max_duration": {
"max": {
"field": "duration_ms"
}
},
"measured_requests": {
"value_count": {
"field": "duration_ms"
}
}
}
}
}
}'预期结果
aggregations.by_path.buckets 中每个接口都会包含 doc_count、avg_duration.value、max_duration.value 和 measured_requests.value。bucket 按平均耗时从高到低排列;实际接口、请求数和耗时数值取决于当前日志数据。avg 会对存在 duration_ms 的文档计算平均值,max 给出窗口内最大的单次耗时。doc_count 是该接口 bucket 中的日志总数,而 measured_requests.value 是真正具有耗时字段的日志数。
把耗时和请求量一起看
只按照平均耗时排序容易产生误判。一个接口在 15 分钟内只有 1 次请求,而且恰好耗时很长,它可能排在第一位;另一个接口有数万次请求,平均耗时略低,却可能对整体用户体验和资源消耗产生更大影响。
因此分析时至少同时观察三类信息:平均耗时代表整体水平,最大耗时暴露极端请求,请求数量说明影响范围。如果 doc_count 很大且平均耗时也持续偏高,通常比“小样本高平均值”更值得优先下钻。
还要比较 doc_count 与 measured_requests.value。两者差距明显,说明部分请求没有记录耗时,此时平均值只代表有数据的样本,应先检查日志字段完整性,再做性能判断。
理解平均值和最大值的边界
平均值容易被极端值拉高,也可能掩盖少量非常慢的请求;最大值则对偶发超时、网络抖动或单次异常特别敏感。因此它们适合快速筛查,却不应被理解为完整的延迟分布。
实际排查时,可以先用本节聚合找出“请求量较大且平均耗时较高”的接口,再过滤该接口的原始日志,按时间、状态码、实例或下游依赖继续定位。如果需要判断大多数用户的响应体验,还应增加百分位耗时等分布指标,而不是只继续比较平均值。
统计接口耗时的关键不是生成一个平均数,而是让时间窗口、接口口径、样本数量和耗时字段处于同一分析上下文。只有这些条件一致,平均耗时和最大耗时才具有可比较的意义。