可观测性与稳定性 / 系统课时

制作慢请求分析面板

制作慢请求分析面板

慢请求面板的目标不是列出几条耗时日志,而是把“哪些 URI 经常慢、慢到什么程度、问题是否持续”变成可观察指标。下面以日志中的响应时间和 URI 字段为基础,完成筛选、聚合和面板设计。

学习目标

  • 使用响应时间阈值筛选慢请求,并按 URI 聚合统计
  • 组合请求量与平均耗时,避免只凭单条极慢日志判断接口性能
  • 设计能够持续观察慢接口变化的面板指标

先确定慢请求口径

制作面板前先明确两个字段:请求 URI 与响应时间。下面假设日志已经解析出 uri.keyword 和 response_time_ms,并用 1000 ms 作为慢请求阈值。如果实际索引采用其他字段名,应直接替换查询字段,而不是重新复制一份日志数据。

时间范围同样会影响判断。最近 15 分钟适合发现突发故障,而分析“长期性能较差”的接口通常应查看最近 24 小时、7 天等更长窗口,并与趋势图配合。

查询慢请求并按 URI 聚合

可以先直接验证查询结果,再把同样的过滤与聚合条件配置到可视化面板中。下面查询最近 24 小时响应时间不低于 1000 ms 的请求,并按 URI 统计数量和平均耗时。

bash
curl -sS -X POST "<HOST>/logs-*/_search?filter_path=aggregations.slow_by_uri.buckets" -H 'Content-Type: application/json' --data-binary @- <<'JSON'
{
  "size": 0,
  "query": {
    "bool": {
      "filter": [
        {
          "range": {
            "@timestamp": {
              "gte": "now-24h",
              "lte": "now"
            }
          }
        },
        {
          "range": {
            "response_time_ms": {
              "gte": 1000
            }
          }
        }
      ]
    }
  },
  "aggs": {
    "slow_by_uri": {
      "terms": {
        "field": "uri.keyword",
        "size": 20,
        "order": {
          "avg_response_time": "desc"
        }
      },
      "aggs": {
        "avg_response_time": {
          "avg": {
            "field": "response_time_ms"
          }
        }
      }
    }
  }
}
JSON

其中 <HOST> 替换为 Elasticsearch 地址;如果集群启用了认证,还需要按现有安全策略附加认证信息。实际 URI、数量和耗时会随日志变化。

预期输出(关键结构):

json
{
  "aggregations": {
    "slow_by_uri": {
      "buckets": [
        {
          "key": "<URI>",
          "doc_count": "<COUNT>",
          "avg_response_time": {
            "value": "<AVG_MS>"
          }
        }
      ]
    }
  }
}

如果 buckets 为空,应先检查当前时间范围内是否存在达到阈值的请求,再确认 response_time_ms 是否为数值字段,以及 uri.keyword 是否可以用于聚合。

把查询拆成三个面板

一个实用的慢请求 Dashboard 不需要堆很多图表,三个互补视角通常就能回答主要问题。

面板 核心指标 解决的问题
慢请求总数 response_time_ms >= 1000 的请求数 当前慢请求规模有多大
慢 URI 排名 URI、慢请求数、平均响应时间 哪些接口值得优先排查
慢请求趋势 按时间桶统计慢请求数或平均耗时 问题是偶发还是持续存在

所有面板应共享相同的时间范围和基础过滤条件。用户切换到最近 7 天时,排名与趋势应同时更新,这样才不会出现“排名看 7 天、趋势却只看 1 小时”的误判。

判断长期较差的接口

平均耗时高并不一定意味着接口长期有问题。一个 URI 如果一天只有一次请求且恰好耗时很高,优先级通常低于每天出现数千次慢请求的核心接口。因此排查时至少同时观察 慢请求数量、平均耗时和时间趋势。

当某个 URI 在多个连续时间桶中都维持较高耗时,并且样本量足够大时,再下钻原始日志,检查状态码、上游服务、数据库调用、实例标识等字段。这样面板负责回答“哪里值得查”,原始日志负责回答“为什么慢”。

面板最终应让值班人员能够从整体慢请求规模迅速定位到具体 URI,再通过趋势判断问题是否持续,而不是把 Dashboard 变成另一种日志列表。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

制作慢请求分析面板

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通