可观测性与稳定性 / 系统课时
制作慢请求分析面板
制作慢请求分析面板
慢请求面板的目标不是列出几条耗时日志,而是把“哪些 URI 经常慢、慢到什么程度、问题是否持续”变成可观察指标。下面以日志中的响应时间和 URI 字段为基础,完成筛选、聚合和面板设计。
学习目标
- 使用响应时间阈值筛选慢请求,并按 URI 聚合统计
- 组合请求量与平均耗时,避免只凭单条极慢日志判断接口性能
- 设计能够持续观察慢接口变化的面板指标
先确定慢请求口径
制作面板前先明确两个字段:请求 URI 与响应时间。下面假设日志已经解析出 uri.keyword 和 response_time_ms,并用 1000 ms 作为慢请求阈值。如果实际索引采用其他字段名,应直接替换查询字段,而不是重新复制一份日志数据。
时间范围同样会影响判断。最近 15 分钟适合发现突发故障,而分析“长期性能较差”的接口通常应查看最近 24 小时、7 天等更长窗口,并与趋势图配合。
查询慢请求并按 URI 聚合
可以先直接验证查询结果,再把同样的过滤与聚合条件配置到可视化面板中。下面查询最近 24 小时响应时间不低于 1000 ms 的请求,并按 URI 统计数量和平均耗时。
curl -sS -X POST "<HOST>/logs-*/_search?filter_path=aggregations.slow_by_uri.buckets" -H 'Content-Type: application/json' --data-binary @- <<'JSON'
{
"size": 0,
"query": {
"bool": {
"filter": [
{
"range": {
"@timestamp": {
"gte": "now-24h",
"lte": "now"
}
}
},
{
"range": {
"response_time_ms": {
"gte": 1000
}
}
}
]
}
},
"aggs": {
"slow_by_uri": {
"terms": {
"field": "uri.keyword",
"size": 20,
"order": {
"avg_response_time": "desc"
}
},
"aggs": {
"avg_response_time": {
"avg": {
"field": "response_time_ms"
}
}
}
}
}
}
JSON其中 <HOST> 替换为 Elasticsearch 地址;如果集群启用了认证,还需要按现有安全策略附加认证信息。实际 URI、数量和耗时会随日志变化。
预期输出(关键结构):
{
"aggregations": {
"slow_by_uri": {
"buckets": [
{
"key": "<URI>",
"doc_count": "<COUNT>",
"avg_response_time": {
"value": "<AVG_MS>"
}
}
]
}
}
}如果 buckets 为空,应先检查当前时间范围内是否存在达到阈值的请求,再确认 response_time_ms 是否为数值字段,以及 uri.keyword 是否可以用于聚合。
把查询拆成三个面板
一个实用的慢请求 Dashboard 不需要堆很多图表,三个互补视角通常就能回答主要问题。
| 面板 | 核心指标 | 解决的问题 |
|---|---|---|
| 慢请求总数 | response_time_ms >= 1000 的请求数 |
当前慢请求规模有多大 |
| 慢 URI 排名 | URI、慢请求数、平均响应时间 | 哪些接口值得优先排查 |
| 慢请求趋势 | 按时间桶统计慢请求数或平均耗时 | 问题是偶发还是持续存在 |
所有面板应共享相同的时间范围和基础过滤条件。用户切换到最近 7 天时,排名与趋势应同时更新,这样才不会出现“排名看 7 天、趋势却只看 1 小时”的误判。
判断长期较差的接口
平均耗时高并不一定意味着接口长期有问题。一个 URI 如果一天只有一次请求且恰好耗时很高,优先级通常低于每天出现数千次慢请求的核心接口。因此排查时至少同时观察 慢请求数量、平均耗时和时间趋势。
当某个 URI 在多个连续时间桶中都维持较高耗时,并且样本量足够大时,再下钻原始日志,检查状态码、上游服务、数据库调用、实例标识等字段。这样面板负责回答“哪里值得查”,原始日志负责回答“为什么慢”。
面板最终应让值班人员能够从整体慢请求规模迅速定位到具体 URI,再通过趋势判断问题是否持续,而不是把 Dashboard 变成另一种日志列表。