大数据与流处理 / 系统课时

使用 EXPLAIN 分析查询

使用 EXPLAIN 分析查询

EXPLAIN 的价值不是“看一棵很长的计划树”,而是回答具体问题:过滤有没有下推、主键有没有裁剪、Pipeline 是否存在串行阶段、JOIN 或排序发生在什么位置。本节用几个最常用的 EXPLAIN 入口建立分析顺序。

学习目标

  • 区分查询树、执行计划、索引分析与 Pipeline 的用途
  • 用 indexes = 1 检查 MergeTree 裁剪
  • 用 EXPLAIN PIPELINE 识别并行与串行处理阶段

先看计划结构而不是猜 SQL

对一个聚合查询,普通 EXPLAIN 可以看到读取、过滤、聚合等步骤。它适合先确认算子顺序,再决定是否需要深入索引或 Pipeline。

sql
-- 先用普通 EXPLAIN 确认读取、聚合、排序和 LIMIT 的主顺序。
EXPLAIN
SELECT
    database,
    count() AS part_count
FROM system.parts
WHERE active
GROUP BY database
ORDER BY part_count DESC
LIMIT 5;

预期结果:

text
Expression (...)
  Limit (...)
    Sorting (...)
      Aggregating
        Expression (...)
          ReadFromSystemParts

具体节点名称和附加字段会因版本而异,但计划应能表达“读取 → 聚合 → 排序 → LIMIT”的主结构。

用索引分析确认裁剪

面对 MergeTree 查询时,EXPLAIN indexes = 1 比单纯看 SQL 更有价值,因为它会给出分区、主键或其他可用索引的选择结果。

sql
-- 开启索引详情,检查日期条件是否减少 Part 或 Granule。
EXPLAIN indexes = 1
SELECT count()
FROM system.query_log
WHERE event_date = today()
  AND type = 'QueryFinish';

预期结果:

text
... Indexes ...
... Partition ...
... Parts: <VALUE>/<VALUE> ...
... Granules: <VALUE>/<VALUE> ...

system.query_log 的具体引擎和计划展示可能随部署版本不同;你要关注的是有没有出现可用索引,以及选择后的 Part、Granule 是否显著少于总量。

用 Pipeline 看并行执行形态

sql
-- PIPELINE 用于观察各 Processor 的并行实例与收敛位置。
EXPLAIN PIPELINE
SELECT
    database,
    sum(bytes_on_disk)
FROM system.parts
WHERE active
GROUP BY database;

预期结果:

text
( ... )
AggregatingTransform × <VALUE>
  ExpressionTransform × <VALUE>
    ReadFromSystemParts × <VALUE>

× <VALUE> 表示某类 Processor 的并行实例数。若读取阶段并行度高,但随后很早收敛到单个 Processor,瓶颈可能转移到汇总、最终排序或其他串行阶段。

把 EXPLAIN 变成问题驱动工具

分析时可以固定四个问题:有没有少读 Part、有没有少读 Granule、过滤和聚合发生在什么位置、Pipeline 在哪里扩散或收敛。EXPLAIN 只说明“计划准备怎样执行”,最终仍应配合 system.query_log、ProfileEvents 和真实延迟验证,不要把计划文本本身当成性能结论。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

使用 EXPLAIN 分析查询

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通