大数据与流处理 / 技术文章
ClickHouse MergeTree 为什么能少扫数据
同一条 WHERE 在不同 MergeTree 物理布局上,可能只读很少的 Granule,也可能接近全表扫描。这里面向已经会写 ClickHouse SQL、但想把 read_rows、read_bytes 与表布局对应起来的工程师和 DBA,建立一条从 Part 到 PREWHERE 的扫描裁剪链路,最终能判断“为什么扫多了”以及优化应该落在哪一层。
少扫数据,不等于先用索引找到单行
MergeTree 的核心思路不是为每一行维护一个稠密索引,而是把“无法命中的大块数据”尽量排除掉。一次典型读取可以理解为逐层缩小候选集:
- 先排除不相关的分区和 Part。
- 在剩余 Part 内,利用按
ORDER BY排好的数据与稀疏主索引缩小 Granule 范围。 - 如果定义了可用的数据跳过索引,再排除更多 Granule。
- 对仍需读取的 Granule,只读取查询需要的列;PREWHERE 还可以先读过滤列,再延迟读取其他列。
- 最后才对读入的数据执行剩余过滤、聚合、排序、JOIN 等算子。
因此,result_rows 很少并不代表扫描量一定小。查询最终只返回 10 行,但过滤条件无法触发前几层裁剪时,底层仍可能读取大量行和字节。
可以把“少扫”拆成两个不同问题:少读多少行主要取决于能否排除 Part 和 Granule;候选数据需读多少字节还取决于列裁剪、PREWHERE 和数据类型。查询日志的读取计数与物理磁盘 I/O 的口径不同,后者还受压缩、预读和缓存影响。
Part 与分区负责第一层粗裁剪
MergeTree 的数据不是一个连续文件,而是一组不可变 Data Part。落盘的写入块按分区形成 Part。一次写入可能形成多个 Part,异步写入也可能先聚合多次请求。后台 Merge 将同一分区中的若干 Part 合并成更大的有序 Part。
如果表定义了 PARTITION BY,查询条件能够约束分区表达式时,ClickHouse 可以在读取列数据前排除不可能命中的分区及其中 Part。这是一层很粗的裁剪:它特别适合时间范围和生命周期管理,但不应该被当成高基数点查索引。
例如按月分区:
CREATE TABLE events
(
event_time DateTime,
tenant_id UInt32,
event_id UInt64,
payload String
)
ENGINE = MergeTree
PARTITION BY toYYYYMM(event_time)
ORDER BY (tenant_id, event_time, event_id);查询 event_time >= '2026-08-01' AND event_time < '2026-09-01' 时,月分区能先把其他月份挡在外面;但查询只有 tenant_id = 42 时,月分区通常帮不上忙。此时扫描量主要取决于 Part 内部的排序与主索引。
这也解释了一个常见误区:把分区切得非常细并不等于查询一定更快。分区首先是数据管理边界,其查询价值来自“条件能否一次排掉大量不相关 Part”,而不是分区数量本身。
排序键与稀疏主索引决定 Granule 能否被跳过
每个 MergeTree Part 内的数据都会按 ORDER BY 排序。ClickHouse 再把有序数据划分为 Granule,并为主键建立稀疏索引。未另写主键时使用排序键,显式指定的主键必须是排序键前缀。默认 index_granularity 是 8192 行,但实际 Granule 大小还可能受按字节控制的粒度设置影响,因此不要把“每个 Granule 永远正好 8192 行”当成不变规则。
稀疏索引只保存 Granule 边界处的主键值,而不是为每行保存一个索引项。由于数据已经有序,ClickHouse 可以根据过滤条件定位“哪些 Granule 可能包含目标值”,直接跳过其余 Granule。
假设排序键是:
ORDER BY (tenant_id, event_time, event_id)那么下面的过滤很容易利用前缀顺序缩小范围:
WHERE tenant_id = 42
AND event_time >= '2026-08-20 00:00:00'
AND event_time < '2026-08-21 00:00:00'tenant_id = 42 先把搜索限制到一个连续区域,随后 event_time 又能在这个区域内继续缩小范围。反过来,如果查询只过滤 event_id = 900001,而前面的 tenant_id、event_time 完全未知,那么物理顺序对这个条件的帮助通常很弱。
所以复合排序键是否有效,关键不是“WHERE 里有没有排序键列”,而是条件能否利用有序前缀把可能命中的数据压缩成少量连续范围。这也是为什么两个语义相近的 SQL,在不同 ORDER BY 上会出现数量级不同的 read_rows。
数据跳过索引是 Granule 摘要,不是第二棵 B-tree
当过滤列不适合放进主排序键,但它在局部数据中具有可跳过特征时,可以增加 Data Skipping Index。它的作用仍然是回答一个问题:这个索引块对应的数据有没有可能命中条件? 如果答案是否定的,整块就不读。
常见类型可以这样理解:
| 类型 | 保存的摘要 | 更适合的条件 | 失效的典型原因 |
|---|---|---|---|
minmax |
最小值与最大值 | 时间、数值范围 | 每个块内取值跨度都很大 |
set |
有限离散值集合 | 局部低基数等值/集合判断 | 局部去重数超过设置上限,摘要变空 |
| Bloom Filter 类 | 概率型成员关系摘要 | 等值、集合、部分字符串场景 | 数据分布过散或参数不合适 |
跳过索引没有改变基表的主排序顺序,它只是给 Granule 或一组 Granule 增加额外摘要。因此,一个 minmax 索引即使语法完全正确,如果被索引列与物理排序几乎没有相关性,每个索引块的最小值和最大值都覆盖很宽范围,也可能几乎跳不过任何数据。
验证时检查 EXPLAIN indexes = 1 中各层保留的 Parts 和 Granules。若索引是建表后加的,还要确认旧 Part 是否已经物化索引。ClickHouse 25.9 起,官方建议对诊断语句加 SETTINGS use_query_condition_cache = 0, use_skip_indexes_on_data_read = 0,让这些裁剪信息在计划中可见。
PREWHERE 与列式存储继续减少读取字节
主索引和跳过索引解决的是“哪些 Granule 不必读”。进入候选 Granule 后,ClickHouse 的列式存储又提供了另一层节省:查询只需要 tenant_id、event_time 和 status,就不必把宽大的 payload、attributes 一并读取。
PREWHERE 进一步把过滤拆成阶段。引擎可以先读取较小、选择性较好的过滤列,得到匹配行位置。对没有匹配行的读取区间,后续列可以整个跳过。实际读盘仍以列数据块为单位,有少量匹配也可能读入整块。很多查询会由优化器自动把合适的 WHERE 条件移动到 PREWHERE,也可以显式写 PREWHERE。
SELECT event_time, payload
FROM events
PREWHERE tenant_id = 42
WHERE event_time >= '2026-08-20 00:00:00'
AND event_time < '2026-08-21 00:00:00';这里要区分指标含义:如果主索引已经确定了相同的一批候选 Granule,PREWHERE 仍要先扫描过滤列,所以 read_rows 不一定明显下降;它更直接的收益通常体现在少读取宽列,从而降低 read_bytes、解压与后续处理成本。
因此,看到“返回行数很少但 read_bytes 仍很高”时,不要只盯主键。还要检查是否读取了不必要的宽列、过滤是否足够早、以及过滤列是否适合先执行。
用同一份数据观察物理顺序怎样改变扫描量
下面用两张列定义相同、只有 ORDER BY 不同的表做最小对照。把实验放在独立测试库。两个表使用同样的列、数据和粒度设置。数据的租户 ID 循环变化,空排序键提供不了按租户排除 Granule 的依据。有序表会把同一租户的数据聚到一起。
CREATE TABLE events_unordered
(
tenant_id UInt32,
event_time DateTime,
payload String
)
ENGINE = MergeTree
ORDER BY tuple()
SETTINGS index_granularity = 1024;
CREATE TABLE events_ordered
(
tenant_id UInt32,
event_time DateTime,
payload String
)
ENGINE = MergeTree
ORDER BY (tenant_id, event_time)
SETTINGS index_granularity = 1024;
INSERT INTO events_unordered
SELECT
toUInt32(number % 100) AS tenant_id,
toDateTime('2026-01-01 00:00:00') + toIntervalSecond(number % 86400) AS event_time,
repeat('x', 100) AS payload
FROM numbers(200000);
INSERT INTO events_ordered
SELECT *
FROM events_unordered;然后分别检查索引裁剪:
EXPLAIN indexes = 1
SELECT count()
FROM events_unordered
WHERE tenant_id = 42;
EXPLAIN indexes = 1
SELECT count()
FROM events_ordered
WHERE tenant_id = 42;预期现象不是某个固定的 Granule 数字,而是裁剪结构的差异:events_unordered 没有可利用的主排序键,目标值分散在大量 Granule 中;events_ordered 可以利用 tenant_id 的有序范围,使 PrimaryKey 只保留少量候选 Granule。具体计数会受 Part 数量、Granule 粒度和 ClickHouse 版本影响,但两张表的相对差异应当清晰。
去掉 EXPLAIN indexes = 1 再运行两条查询。两张表都应返回 2000。若实例开启查询日志,可通过客户端为两条查询指定不同 query_id,等待日志写入后对比 QueryFinish 记录的 read_rows、read_bytes 和 query_duration_ms。前两者是查询读取计数。比较耗时应留意缓存和并发条件,不能将它直接当作索引裁剪量。若排序后的表 read_rows 仍接近全表,下一步应检查过滤表达式是否可被主键条件分析利用,以及数据是否真的按预期排序并形成了合适的 Part。
看到扫描放大时,按层定位而不是先改 SQL
MergeTree 查询慢时,可以把扫描问题按四层归因:
| 现象 | 优先检查 | 可能的根因 |
|---|---|---|
| 读取大量不相关月份或批次 | Partition / Part | 分区条件缺失,或分区表达式与查询不匹配 |
| Part 数不多但 Granule 几乎全读 | PrimaryKey | ORDER BY 与高频过滤模式错位 |
| 主键无法覆盖某个高频次要过滤列 | Skip Index | 缺少合适摘要,或索引列局部相关性差 |
read_rows 已低但 read_bytes 仍高 |
列裁剪 / PREWHERE | 读取宽列过早、选择列过多或过滤顺序不佳 |
真正有用的判断不是“ClickHouse 有索引所以快”,而是:查询条件先在哪一层获得排除能力,最终留下多少 Part、多少 Granule、多少列需要读。
当 read_rows 异常升高时,先看 EXPLAIN indexes = 1 的 Part/Granule 裁剪,再回到 ORDER BY 与过滤前缀;当 read_rows 已经合理但 read_bytes 偏高,再检查列选择和 PREWHERE。这样就能把“少扫数据”从模糊经验变成可验证的物理布局判断。