可观测性与稳定性 / 系统课时
查询很慢时怎样拆解原因
查询很慢时怎样拆解原因
Kibana 中一次日志检索变慢,不应先归因于“数据太多”。更有效的方法是沿着时间范围、字段类型、分片规模和查询写法逐层缩小问题。本节建立一套可重复的定位顺序,并用 Elasticsearch 的 Profile API 验证真正耗时的查询阶段。
学习目标
- 按固定顺序拆解 Kibana 检索缓慢问题
- 判断时间范围、字段类型和分片数量是否放大查询成本
- 使用 Profile API 定位高成本查询子句
先把慢查询拆成四个方向
同一个查询从最近 15 分钟扩大到 30 天后突然变慢,通常意味着命中的索引、分片或文档数量发生了数量级变化。反过来,如果缩短时间范围仍然很慢,就应该继续检查字段和查询方式,而不是只增加 Elasticsearch 资源。

建议按以下顺序定位:先把时间范围缩到最近 15 分钟或 1 小时;再确认过滤、聚合字段是否使用适合精确匹配的 keyword、数值或日期类型;然后检查查询实际命中了多少索引和分片;最后才分析查询 DSL 本身。这样能先排除影响面最大的因素。
用对照查询确认是不是时间范围问题
可以直接向 Elasticsearch 发起与 Kibana 条件等价的查询。下面只查询最近 15 分钟的错误日志,并关闭不需要的命中总数精确统计,以便建立一个简单基线。将 <HOST>、<PORT> 和索引模式替换成实际环境值。
curl -sS -X POST "http://<HOST>:<PORT>/logs-*/_search" \
-H 'Content-Type: application/json' \
-d '{
"size": 20,
"track_total_hits": false,
"query": {
"bool": {
"filter": [
{"range": {"@timestamp": {"gte": "now-15m", "lte": "now"}}},
{"term": {"log.level.keyword": "ERROR"}}
]
}
},
"sort": [{"@timestamp": {"order": "desc"}}]
}'预期结果
{
"took": 12,
"timed_out": false,
"hits": {
"hits": []
}
}took 和命中内容会随数据变化,示例中的数值仅表示响应结构。实际排查时,把 now-15m 逐步扩大为 now-1h、now-24h 等范围并记录 took。如果耗时随着范围扩大明显上升,就继续检查被扩大的索引和分片范围。
检查字段类型与分片规模
日志字段经常同时存在文本全文检索和精确过滤需求。text 字段适合分词搜索,而精确状态、级别、服务名等通常应使用 keyword 子字段。对这类条件使用精确过滤,可以避免把本应简单的条件写成全文检索。
可以先检查字段映射,再查看目标索引的分片。下面两条命令属于诊断命令,返回内容取决于实际索引。
curl -sS "http://<HOST>:<PORT>/logs-*/_mapping/field/log.level*"
curl -sS "http://<HOST>:<PORT>/_cat/shards/logs-*?v&h=index,shard,prirep,state,docs,store"预期结果
第一条命令返回 log.level 相关字段的映射信息;第二条命令按行列出 logs-* 命中的分片、主副本状态、文档数和存储量。具体索引名、字段类型、文档数和容量因环境而异。如果一次查询跨越大量很小的分片,即使每个分片数据不多,也会产生额外的协调和执行开销。此时应从索引生命周期、滚动策略和分片规划解决问题,而不是简单把查询改得更复杂。
用 Profile API 找到昂贵子句
当时间范围和分片规模都合理,但某个 DSL 仍明显偏慢时,可以开启 profile。Profile API 会返回各分片中查询组件的执行明细,适合实验和诊断,不应作为普通线上检索的默认选项。
curl -sS -X POST "http://<HOST>:<PORT>/logs-*/_search" \
-H 'Content-Type: application/json' \
-d '{
"size": 0,
"profile": true,
"query": {
"bool": {
"filter": [
{"range": {"@timestamp": {"gte": "now-15m", "lte": "now"}}},
{"term": {"service.name.keyword": "checkout"}}
]
}
}
}'预期结果
响应包含 profile.shards,并在各分片的 searches/query 明细中给出查询组件类型、执行时间及 breakdown。具体耗时、节点、分片和内部查询描述会随数据与 Elasticsearch 版本变化。不要只盯着整个请求的 took 猜根因。先用时间范围做对照,再确认字段映射和分片规模,最后用 Profile API 下钻到查询子句,才能区分“扫描范围太大”“分片布局不合理”和“查询本身昂贵”这几类完全不同的问题。