大数据与流处理 / 系统课时
按查询模式设计排序键
按查询模式设计排序键
排序键不是把“最重要的字段”全部塞进去,而是根据真实查询模式安排列顺序,让最常见、最能缩小连续数据范围的条件靠前,同时兼顾时间局部性、低基数维度和排序需求。
学习目标
- 从过滤频率、选择性和列相关性提取排序键候选
- 判断复合排序键中各列的合理顺序
- 用对照查询验证设计是否降低 Granule 扫描
先列出真实查询模式
假设日志平台最常见的三类查询是:指定 service 查时间窗口、指定 service 与 level 查时间窗口、按 trace_id 精确定位。不要立刻把四个字段都放进排序键,而是先判断哪类查询贡献了主要流量与延迟。
如果 80% 查询都先限定 service 和时间,那么 (service, event_time) 往往是稳定基线;level 基数低且可能与 service 内分布相关,可以放在更后面;极少发生的 trace_id 精确查询则可以考虑跳数索引或投影,而不是破坏主排序布局。
设计一个可验证的排序键
-- 让最常见的 service + 时间窗口条件命中排序键前缀。
-- 用 EXPLAIN 观察实际选择的 Part 与 Granule。
CREATE TABLE IF NOT EXISTS logs_sort_demo
(
event_time DateTime,
service LowCardinality(String),
level LowCardinality(String),
trace_id String,
message String
)
ENGINE = MergeTree
PARTITION BY toDate(event_time)
ORDER BY (service, event_time, level);
EXPLAIN indexes = 1
SELECT count()
FROM logs_sort_demo
WHERE service = 'checkout'
AND event_time >= now() - INTERVAL 1 HOUR;预期结果:
... PrimaryKey ...
... Keys: service, event_time ...
... Parts: <VALUE>/<VALUE> ...
... Granules: <VALUE>/<VALUE> ...如果表里已有足够数据,重点比较 Granules 的已选数量与总量,而不是只看是否出现了 Primary Key 字样。
列顺序要同时看选择性与局部性
高频过滤列适合靠前,但“选择性最高”并不是唯一规则。比如时间列几乎每条都不同,直接放第一位会让不同 service 在同一时间段交错,可能不利于大量“按 service + 时间”查询。把 service 放前面,可以先形成租户或服务级局部性,再由时间范围继续缩小区间。
相关性也很重要:如果 country 与 region 高度相关,把两者都放在前部未必带来线性收益。排序键宽度增加还会影响写入排序、索引大小和数据局部性,因此要以工作负载验证,而不是追求字段越多越好。
用 A/B 表做最小验证
同一份代表性数据可以写入两个不同 ORDER BY 的测试表,再用完全相同的查询、缓存状态和并发条件比较 read_rows、read_bytes、已选 Granule 与分位延迟。只要某个排序键让主要查询明显少读数据,即使单条 SQL 的逻辑完全相同,也能获得稳定收益。