大数据与流处理 / 系统课时

验证分区与主键裁剪

验证分区与主键裁剪

查询写了分区键或排序键条件,并不等于 ClickHouse 一定少读了数据。本课用一张可复现实验表,把“Part 是否被排除、Granule 是否被跳过、实际读了多少行”串成一条证据链,避免只凭 SQL 形状判断优化是否生效。

学习目标

  • 使用 EXPLAIN indexes = 1 判断分区与主键裁剪是否发生
  • 正确解读 Parts、Granules 与 Condition,区分 Part 级和 Granule 级收益
  • 用 system.query_log 的 read_rows、read_bytes 验证计划是否转化为真实读取下降

建立可复现的裁剪样本

下面创建 90 万行 MergeTree 数据。月份作为分区键,tenant_id、event_date、user_id 组成排序键;这样既能观察按月排除 Part,也能观察主键稀疏索引缩小 Granule 范围。

sql
DROP TABLE IF EXISTS pruning_demo;

CREATE TABLE pruning_demo
(
    event_date Date,
    tenant_id UInt32,
    user_id UInt64,
    value UInt32
)
ENGINE = MergeTree
PARTITION BY toYYYYMM(event_date)
ORDER BY (tenant_id, event_date, user_id)
SETTINGS index_granularity = 8192;

-- 每个 tenant 在 90 天内都有均匀数据,避免日期与租户意外相关。
INSERT INTO pruning_demo
SELECT
    toDate('2026-01-01') + toIntervalDay(number % 90) AS event_date,
    toUInt32(intDiv(number, 90) % 20) AS tenant_id,
    number AS user_id,
    toUInt32(number % 1000) AS value
FROM numbers(900000);

SELECT
    count() AS rows,
    min(event_date) AS min_date,
    max(event_date) AS max_date,
    uniqExact(tenant_id) AS tenants
FROM pruning_demo;

预期结果

text
rows    min_date    max_date    tenants
900000  2026-01-01  2026-03-31  20

从 EXPLAIN 看 Part 与 Granule

先看一个只过滤非键列的基线,再看同时带月份范围和排序键前缀的查询。EXPLAIN indexes = 1 不需要完整执行聚合,就能展示 MergeTree 读取阶段应用了哪些索引,以及每一步应用前后还剩多少 Part 和 Granule。

sql
-- 基线:value 不在分区键或排序键中,通常无法靠这两层裁剪。
EXPLAIN indexes = 1
SELECT count()
FROM pruning_demo
WHERE value = 42;

-- 目标:日期限制月份范围,tenant_id 又约束排序键前缀。
EXPLAIN indexes = 1
SELECT count()
FROM pruning_demo
WHERE tenant_id = 7
  AND event_date >= '2026-03-10'
  AND event_date < '2026-03-13';

预期输出

text
基线查询的关键形态:
Partition
  Condition: true
  Parts: <VALUE>/<VALUE>
PrimaryKey
  Condition: true
  Granules: <VALUE>/<VALUE>

目标查询的关键形态:
Partition
  Condition: <PARTITION_CONDITION>
  Parts: <KEPT_PARTS>/<INPUT_PARTS>
PrimaryKey
  Keys: tenant_id, event_date, user_id
  Condition: <PRIMARY_KEY_CONDITION>
  Granules: <KEPT_GRANULES>/<INPUT_GRANULES>

Parts: A/B、Granules: A/B 可以按“应用该层索引后保留 A、应用前有 B”来读。分区条件主要减少 Part;主键稀疏索引主要在保留下来的 Part 内减少 Granule。具体数字会受 ClickHouse 版本、Part 合并状态和索引粒度影响,因此判断重点是比例是否明显收缩,而不是背固定数值。

分区与主键裁剪的验证链路

用查询日志核对真实读取

计划只能说明“预计会读哪些范围”,最终还要看实际扫描。先给两条查询写入不同 log_comment;结果行数可以精确验证查询语义没有被优化过程改变。

sql
-- 非键列过滤:结果少,不代表物理扫描少。
SELECT count() AS matched_rows
FROM pruning_demo
WHERE value = 42
SETTINGS log_comment = 'pruning-baseline';

-- 分区范围 + 排序键前缀:目标是缩小实际扫描范围。
SELECT count() AS matched_rows
FROM pruning_demo
WHERE tenant_id = 7
  AND event_date >= '2026-03-10'
  AND event_date < '2026-03-13'
SETTINGS log_comment = 'pruning-target';

预期输出

text
pruning-baseline: matched_rows = 900
pruning-target:   matched_rows = 1500

随后刷新日志并取两个标签最近一次完成记录。argMax 避免重复执行实验后误读更早的记录。

sql
SYSTEM FLUSH LOGS;

SELECT
    log_comment,
    argMax(read_rows, event_time_microseconds) AS read_rows,
    formatReadableSize(argMax(read_bytes, event_time_microseconds)) AS read_size
FROM system.query_log
WHERE type = 'QueryFinish'
  AND log_comment IN ('pruning-baseline', 'pruning-target')
GROUP BY log_comment
ORDER BY log_comment;

预期输出

text
log_comment       read_rows     read_size
pruning-baseline  <ROWS_A>      <SIZE_A>
pruning-target    <ROWS_B>      <SIZE_B>

其中 <ROWS_B> 应明显小于 <ROWS_A>;实际字节数随版本、压缩和 Part 状态变化。

如果 EXPLAIN 已显示 Parts、Granules 大幅缩小,但 read_rows 没有同步下降,先确认比较的是同一张本地 MergeTree 表、同样的过滤条件和最近一次查询记录;分布式表、投影、查询条件缓存等额外机制会改变读取路径。

用三层证据判断是否有效

验证裁剪时不要只看“用了索引”四个字。第一层看分区相关索引的 Parts 是否下降;第二层看 PrimaryKey 的 Granules 是否下降;第三层看执行后的 read_rows、read_bytes 是否同步减少。三层证据一致,才说明条件真正缩小了物理读取范围。

反过来,PrimaryKey Condition: true 或 Granules: N/N 通常意味着该层没有提供有效排除能力。此时应先检查过滤列与 ORDER BY 的关系,再考虑调整排序键、增加适合的跳数索引或改变查询形态,而不是为了减少扫描盲目增加高基数分区。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

验证分区与主键裁剪

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通