可观测性与稳定性 / 系统课时

查询越来越慢应该怎么分析

查询越来越慢应该怎么分析

日志检索变慢时,不要先把问题归结为“机器不够快”。更有效的做法是固定同一条查询,先量化耗时与分片范围,再依次检查时间跨度、通配搜索、高基数聚合和分片扇出,最后用 profile 验证时间究竟花在哪个查询阶段。

学习目标

  • 用可重复请求建立慢查询基线,而不是凭页面体感判断。
  • 分辨查询范围、通配模式、高基数字段和分片数量带来的不同成本。
  • 使用 Search Profile 找到真正耗时的查询组件。

先固定一条可重复的基线

先把索引、时间范围、查询条件和返回条数固定下来。下面示例只统计最近 15 分钟内包含 connection timeout 的日志,不返回原始文档,便于反复比较。

bash
HOST="<HOST>"
PORT="<PORT>"
INDEX="<INDEX>"

curl -sS -X POST "http://${HOST}:${PORT}/${INDEX}/_search?filter_path=took,timed_out,_shards,hits.total" \
  -H "Content-Type: application/json" \
  -d '{
    "size": 0,
    "track_total_hits": true,
    "query": {
      "bool": {
        "filter": [
          {
            "range": {
              "@timestamp": {
                "gte": "now-15m",
                "lte": "now"
              }
            }
          }
        ],
        "must": [
          {
            "match": {
              "message": {
                "query": "connection timeout",
                "operator": "and"
              }
            }
          }
        ]
      }
    }
  }'

预期结果

text
HTTP 请求成功后,响应应包含 took、timed_out、_shards 和 hits.total。
took 与命中数取决于当前数据;比较优化前后时应保持索引、时间范围和查询条件一致。

如果同一请求在短时间窗口很快、扩大到数天后明显变慢,先处理查询范围和索引范围,而不是立即调 JVM 或扩机器。

按成本来源逐层排查

日志慢查询的分层分析路径

时间范围越大,通常需要访问的数据段越多;使用日期索引或数据流时,还要确认请求是否扫到了远超需要的历史索引。第一步常常是收紧时间,再看性能是否恢复。

通配和正则搜索要看字段与模式。前导通配符如 *timeout 往往比精确词项、前缀或正常 match 更昂贵;对日志消息做大范围 wildcard 时尤其容易放大 CPU 消耗。能用结构化字段过滤时,优先过滤 service、level、status_code 等明确字段。

高基数字段主要在聚合、排序和某些去重场景中带来成本。例如对 request_id 这类几乎每条日志都不同的字段做大规模 terms 聚合,可能需要维护大量桶。高基数并不等于“这个字段不能查”,关键是操作类型与结果规模。

分片过多会让一次查询同时向更多 shard 扇出。即使每个 shard 数据不大,协调节点仍要等待、合并多个结果。因此要同时观察“查询本身做了多少工作”和“这份工作被拆给多少 shard”。

用 Search Profile 验证猜测

当范围、查询形式和分片扇出仍不能解释慢点时,再打开 profile。Profile 会增加额外开销,所以适合诊断请求,不应作为常规生产查询选项。

bash
HOST="<HOST>"
PORT="<PORT>"
INDEX="<INDEX>"

curl -sS -X POST "http://${HOST}:${PORT}/${INDEX}/_search?filter_path=took,profile.shards.id,profile.shards.searches.query.type,profile.shards.searches.query.description,profile.shards.searches.query.time_in_nanos" \
  -H "Content-Type: application/json" \
  -d '{
    "size": 0,
    "profile": true,
    "query": {
      "match": {
        "message": {
          "query": "connection timeout",
          "operator": "and"
        }
      }
    }
  }'

预期结果

text
响应包含 took 和 profile.shards。
每个 shard 下可看到查询组件的 type、description 与 time_in_nanos。
具体 shard ID、组件数量和耗时会随索引与数据不同而变化。

先找耗时最大的 shard 与 query 组件,再回到查询语句验证原因。若主要时间消耗在 wildcard/regexp,应改查询方式或字段设计;若大量 shard 都不慢但总耗时仍高,则更应关注扇出、协调与并发压力,而不是只盯单个 Lucene 查询。

优化时一次只改一个变量

排查的顺序应保持可验证:先缩短时间范围,再减少不必要的目标索引;然后替换昂贵通配查询;再检查高基数聚合的桶数量;最后评估 shard 规划。每次修改后都用同一基线请求复测 took 与分片范围。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

查询越来越慢应该怎么分析

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通