大数据与流处理 / 系统课时
使用 EXPLAIN 分析查询
使用 EXPLAIN 分析查询
EXPLAIN 的价值不是“看一棵很长的计划树”,而是回答具体问题:过滤有没有下推、主键有没有裁剪、Pipeline 是否存在串行阶段、JOIN 或排序发生在什么位置。本节用几个最常用的 EXPLAIN 入口建立分析顺序。
学习目标
- 区分查询树、执行计划、索引分析与 Pipeline 的用途
- 用
indexes = 1检查 MergeTree 裁剪 - 用
EXPLAIN PIPELINE识别并行与串行处理阶段
先看计划结构而不是猜 SQL
对一个聚合查询,普通 EXPLAIN 可以看到读取、过滤、聚合等步骤。它适合先确认算子顺序,再决定是否需要深入索引或 Pipeline。
sql
-- 先用普通 EXPLAIN 确认读取、聚合、排序和 LIMIT 的主顺序。
EXPLAIN
SELECT
database,
count() AS part_count
FROM system.parts
WHERE active
GROUP BY database
ORDER BY part_count DESC
LIMIT 5;预期结果:
text
Expression (...)
Limit (...)
Sorting (...)
Aggregating
Expression (...)
ReadFromSystemParts具体节点名称和附加字段会因版本而异,但计划应能表达“读取 → 聚合 → 排序 → LIMIT”的主结构。
用索引分析确认裁剪
面对 MergeTree 查询时,EXPLAIN indexes = 1 比单纯看 SQL 更有价值,因为它会给出分区、主键或其他可用索引的选择结果。
sql
-- 开启索引详情,检查日期条件是否减少 Part 或 Granule。
EXPLAIN indexes = 1
SELECT count()
FROM system.query_log
WHERE event_date = today()
AND type = 'QueryFinish';预期结果:
text
... Indexes ...
... Partition ...
... Parts: <VALUE>/<VALUE> ...
... Granules: <VALUE>/<VALUE> ...system.query_log 的具体引擎和计划展示可能随部署版本不同;你要关注的是有没有出现可用索引,以及选择后的 Part、Granule 是否显著少于总量。
用 Pipeline 看并行执行形态
sql
-- PIPELINE 用于观察各 Processor 的并行实例与收敛位置。
EXPLAIN PIPELINE
SELECT
database,
sum(bytes_on_disk)
FROM system.parts
WHERE active
GROUP BY database;预期结果:
text
( ... )
AggregatingTransform × <VALUE>
ExpressionTransform × <VALUE>
ReadFromSystemParts × <VALUE>× <VALUE> 表示某类 Processor 的并行实例数。若读取阶段并行度高,但随后很早收敛到单个 Processor,瓶颈可能转移到汇总、最终排序或其他串行阶段。
把 EXPLAIN 变成问题驱动工具
分析时可以固定四个问题:有没有少读 Part、有没有少读 Granule、过滤和聚合发生在什么位置、Pipeline 在哪里扩散或收敛。EXPLAIN 只说明“计划准备怎样执行”,最终仍应配合 system.query_log、ProfileEvents 和真实延迟验证,不要把计划文本本身当成性能结论。
按自己的节奏,确认真正理解。