可观测性与稳定性 / 系统课时

查询很慢时怎样拆解原因

查询很慢时怎样拆解原因

Kibana 中一次日志检索变慢,不应先归因于“数据太多”。更有效的方法是沿着时间范围、字段类型、分片规模和查询写法逐层缩小问题。本节建立一套可重复的定位顺序,并用 Elasticsearch 的 Profile API 验证真正耗时的查询阶段。

学习目标

  • 按固定顺序拆解 Kibana 检索缓慢问题
  • 判断时间范围、字段类型和分片数量是否放大查询成本
  • 使用 Profile API 定位高成本查询子句

先把慢查询拆成四个方向

同一个查询从最近 15 分钟扩大到 30 天后突然变慢,通常意味着命中的索引、分片或文档数量发生了数量级变化。反过来,如果缩短时间范围仍然很慢,就应该继续检查字段和查询方式,而不是只增加 Elasticsearch 资源。

Kibana 慢查询拆解流程

建议按以下顺序定位:先把时间范围缩到最近 15 分钟或 1 小时;再确认过滤、聚合字段是否使用适合精确匹配的 keyword、数值或日期类型;然后检查查询实际命中了多少索引和分片;最后才分析查询 DSL 本身。这样能先排除影响面最大的因素。

用对照查询确认是不是时间范围问题

可以直接向 Elasticsearch 发起与 Kibana 条件等价的查询。下面只查询最近 15 分钟的错误日志,并关闭不需要的命中总数精确统计,以便建立一个简单基线。将 <HOST>、<PORT> 和索引模式替换成实际环境值。

bash
curl -sS -X POST "http://<HOST>:<PORT>/logs-*/_search" \
  -H 'Content-Type: application/json' \
  -d '{
    "size": 20,
    "track_total_hits": false,
    "query": {
      "bool": {
        "filter": [
          {"range": {"@timestamp": {"gte": "now-15m", "lte": "now"}}},
          {"term": {"log.level.keyword": "ERROR"}}
        ]
      }
    },
    "sort": [{"@timestamp": {"order": "desc"}}]
  }'

预期结果

json
{
  "took": 12,
  "timed_out": false,
  "hits": {
    "hits": []
  }
}

took 和命中内容会随数据变化,示例中的数值仅表示响应结构。实际排查时,把 now-15m 逐步扩大为 now-1h、now-24h 等范围并记录 took。如果耗时随着范围扩大明显上升,就继续检查被扩大的索引和分片范围。

检查字段类型与分片规模

日志字段经常同时存在文本全文检索和精确过滤需求。text 字段适合分词搜索,而精确状态、级别、服务名等通常应使用 keyword 子字段。对这类条件使用精确过滤,可以避免把本应简单的条件写成全文检索。

可以先检查字段映射,再查看目标索引的分片。下面两条命令属于诊断命令,返回内容取决于实际索引。

bash
curl -sS "http://<HOST>:<PORT>/logs-*/_mapping/field/log.level*"
curl -sS "http://<HOST>:<PORT>/_cat/shards/logs-*?v&h=index,shard,prirep,state,docs,store"

预期结果

text
第一条命令返回 log.level 相关字段的映射信息;第二条命令按行列出 logs-* 命中的分片、主副本状态、文档数和存储量。具体索引名、字段类型、文档数和容量因环境而异。

如果一次查询跨越大量很小的分片,即使每个分片数据不多,也会产生额外的协调和执行开销。此时应从索引生命周期、滚动策略和分片规划解决问题,而不是简单把查询改得更复杂。

用 Profile API 找到昂贵子句

当时间范围和分片规模都合理,但某个 DSL 仍明显偏慢时,可以开启 profile。Profile API 会返回各分片中查询组件的执行明细,适合实验和诊断,不应作为普通线上检索的默认选项。

bash
curl -sS -X POST "http://<HOST>:<PORT>/logs-*/_search" \
  -H 'Content-Type: application/json' \
  -d '{
    "size": 0,
    "profile": true,
    "query": {
      "bool": {
        "filter": [
          {"range": {"@timestamp": {"gte": "now-15m", "lte": "now"}}},
          {"term": {"service.name.keyword": "checkout"}}
        ]
      }
    }
  }'

预期结果

text
响应包含 profile.shards,并在各分片的 searches/query 明细中给出查询组件类型、执行时间及 breakdown。具体耗时、节点、分片和内部查询描述会随数据与 Elasticsearch 版本变化。

不要只盯着整个请求的 took 猜根因。先用时间范围做对照,再确认字段映射和分片规模,最后用 Profile API 下钻到查询子句,才能区分“扫描范围太大”“分片布局不合理”和“查询本身昂贵”这几类完全不同的问题。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

查询很慢时怎样拆解原因

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通