可观测性与稳定性 / 系统课时
怎样找请求量最高的接口
怎样找请求量最高的接口
当日志已经集中到检索平台后,热点接口并不是靠逐条翻日志发现的,而是把指定时间窗口内的请求按接口字段分组计数,再按请求数降序排列。本节以 Elasticsearch 聚合查询为例,得到可直接用于流量分析的热点接口列表。
学习目标
- 能按接口路径聚合并统计请求数量
- 能从聚合结果中识别请求量最高的接口
- 能避免查询参数和动态路径造成统计口径失真
先确定接口统计口径
统计前要先确认哪一个日志字段真正代表“接口”。如果日志中同时存在 path、url、request_uri 和路由模板,优先选择已经去掉查询参数、能够稳定表示业务接口的字段。
例如 /api/orders?page=1 与 /api/orders?page=2 通常应该属于同一个接口。如果直接使用完整 URL 分组,两次请求会进入不同 bucket,热点流量就会被拆散。对于 Elasticsearch,字符串字段还要使用可精确聚合的 keyword 字段,例如 path.keyword,而不是经过分词的 text 字段。
时间范围同样属于统计口径。过去 15 分钟适合发现即时热点,过去 24 小时更适合观察日常访问结构。比较不同结果时,应保持时间窗口一致。
按接口路径统计请求量
假设访问日志位于 app-logs-*,时间字段为 @timestamp,接口路径字段为 path.keyword。下面查询过去 15 分钟请求量最高的 10 个接口。将 <PORT> 替换为当前 Elasticsearch HTTP 端口,实际值可能不同。
curl -s -X POST 'http://localhost:<PORT>/app-logs-*/_search?filter_path=aggregations.hot_paths.buckets' -H 'Content-Type: application/json' -d '{
"size": 0,
"query": {
"range": {
"@timestamp": {
"gte": "now-15m",
"lte": "now"
}
}
},
"aggs": {
"hot_paths": {
"terms": {
"field": "path.keyword",
"size": 10,
"order": {
"_count": "desc"
}
}
}
}
}'预期结果
aggregations.hot_paths.buckets 会返回最多 10 个接口,并按 doc_count 从高到低排列。第一条 bucket 的 key 是当前时间窗口中的热点接口路径,doc_count 是该路径的请求数量;实际路径和计数随日志数据变化。这里把搜索结果的 size 设置为 0,表示不返回原始日志文档,只计算聚合结果。terms 负责按照接口路径建立 bucket,而 _count 降序让请求最多的接口排在前面。
正确读取热点结果
每个 bucket 最重要的是两个值:key 表示接口路径,doc_count 表示落入该路径的日志数量。如果应用保证一条访问日志对应一次请求,那么 doc_count 就可以作为请求量。
需要注意,size: 10 表示只取前 10 个 bucket,并不是系统只有 10 个接口。排查长尾接口时,可以适当扩大数量,但不要在高基数字段上无节制地增加 size,否则聚合会占用更多计算和内存资源。
热点接口也不等于异常接口。首页、健康检查或高频轮询接口天然可能位居前列,因此看到高请求量后,还应结合 HTTP 方法、状态码、服务实例和响应耗时判断其业务含义。
避免路径被错误拆分
最常见的问题是动态路径。例如 /api/orders/1001 与 /api/orders/1002 在业务上都是“查询订单详情”,但直接按照原始路径聚合会形成大量独立 bucket。更稳妥的做法是在应用日志中记录路由模板,例如 /api/orders/:id,再按这个字段统计。
查询参数也应尽量在采集或结构化阶段拆开保存。接口字段只保留稳定路径,参数单独进入其他字段。这样得到的请求量排名才能真正回答“哪个接口最热门”,而不是“哪个完整 URL 恰好出现最多”。
找到热点接口后,可以进一步按状态码统计失败比例,或按响应时间分析这些高流量接口是否同时存在性能压力。请求量负责说明流量规模,只有与错误率和耗时结合,才能判断热点是否需要优化。