可观测性与稳定性 / 系统课时

怎样找请求量最高的接口

怎样找请求量最高的接口

当日志已经集中到检索平台后,热点接口并不是靠逐条翻日志发现的,而是把指定时间窗口内的请求按接口字段分组计数,再按请求数降序排列。本节以 Elasticsearch 聚合查询为例,得到可直接用于流量分析的热点接口列表。

学习目标

  • 能按接口路径聚合并统计请求数量
  • 能从聚合结果中识别请求量最高的接口
  • 能避免查询参数和动态路径造成统计口径失真

先确定接口统计口径

统计前要先确认哪一个日志字段真正代表“接口”。如果日志中同时存在 path、url、request_uri 和路由模板,优先选择已经去掉查询参数、能够稳定表示业务接口的字段。

例如 /api/orders?page=1 与 /api/orders?page=2 通常应该属于同一个接口。如果直接使用完整 URL 分组,两次请求会进入不同 bucket,热点流量就会被拆散。对于 Elasticsearch,字符串字段还要使用可精确聚合的 keyword 字段,例如 path.keyword,而不是经过分词的 text 字段。

时间范围同样属于统计口径。过去 15 分钟适合发现即时热点,过去 24 小时更适合观察日常访问结构。比较不同结果时,应保持时间窗口一致。

按接口路径统计请求量

假设访问日志位于 app-logs-*,时间字段为 @timestamp,接口路径字段为 path.keyword。下面查询过去 15 分钟请求量最高的 10 个接口。将 <PORT> 替换为当前 Elasticsearch HTTP 端口,实际值可能不同。

bash
curl -s -X POST 'http://localhost:<PORT>/app-logs-*/_search?filter_path=aggregations.hot_paths.buckets' -H 'Content-Type: application/json' -d '{
  "size": 0,
  "query": {
    "range": {
      "@timestamp": {
        "gte": "now-15m",
        "lte": "now"
      }
    }
  },
  "aggs": {
    "hot_paths": {
      "terms": {
        "field": "path.keyword",
        "size": 10,
        "order": {
          "_count": "desc"
        }
      }
    }
  }
}'

预期结果

text
aggregations.hot_paths.buckets 会返回最多 10 个接口,并按 doc_count 从高到低排列。第一条 bucket 的 key 是当前时间窗口中的热点接口路径,doc_count 是该路径的请求数量;实际路径和计数随日志数据变化。

这里把搜索结果的 size 设置为 0,表示不返回原始日志文档,只计算聚合结果。terms 负责按照接口路径建立 bucket,而 _count 降序让请求最多的接口排在前面。

正确读取热点结果

每个 bucket 最重要的是两个值:key 表示接口路径,doc_count 表示落入该路径的日志数量。如果应用保证一条访问日志对应一次请求,那么 doc_count 就可以作为请求量。

需要注意,size: 10 表示只取前 10 个 bucket,并不是系统只有 10 个接口。排查长尾接口时,可以适当扩大数量,但不要在高基数字段上无节制地增加 size,否则聚合会占用更多计算和内存资源。

热点接口也不等于异常接口。首页、健康检查或高频轮询接口天然可能位居前列,因此看到高请求量后,还应结合 HTTP 方法、状态码、服务实例和响应耗时判断其业务含义。

避免路径被错误拆分

最常见的问题是动态路径。例如 /api/orders/1001 与 /api/orders/1002 在业务上都是“查询订单详情”,但直接按照原始路径聚合会形成大量独立 bucket。更稳妥的做法是在应用日志中记录路由模板,例如 /api/orders/:id,再按这个字段统计。

查询参数也应尽量在采集或结构化阶段拆开保存。接口字段只保留稳定路径,参数单独进入其他字段。这样得到的请求量排名才能真正回答“哪个接口最热门”,而不是“哪个完整 URL 恰好出现最多”。

找到热点接口后,可以进一步按状态码统计失败比例,或按响应时间分析这些高流量接口是否同时存在性能压力。请求量负责说明流量规模,只有与错误率和耗时结合,才能判断热点是否需要优化。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

怎样找请求量最高的接口

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通