大数据与流处理 / 系统课时
建立数据与查询基线
建立数据与查询基线
性能优化只有在前后条件可比较时才有意义。这节课会固定一份可重复数据、一个代表性查询和一组观测指标,用 ClickHouse 的 system.query_log 记录延迟、扫描量与内存消耗,建立后续优化能够复测的基线。
学习目标
- 固定数据规模、表结构与查询样本,避免测试条件漂移
- 记录查询延迟、
read_rows、read_bytes和内存等核心指标 - 用相同查询重复采样,并区分首次执行与缓存影响
固定可重复的数据样本
基线首先要固定“输入”。表结构、排序键、数据量、数据分布只要任意一项改变,后续延迟差异就不再只代表优化效果。
下面创建 100 万行测试数据。数据完全由 numbers() 生成,重复执行时分布一致,适合做本地实验基线。
DROP TABLE IF EXISTS baseline_events;
CREATE TABLE baseline_events
(
tenant_id UInt32,
event_date Date,
event_time DateTime,
event_type LowCardinality(String),
value UInt32
)
ENGINE = MergeTree
ORDER BY (tenant_id, event_date, event_time);
INSERT INTO baseline_events
SELECT
number % 100 AS tenant_id,
toDate('2026-08-01') AS event_date,
toDateTime('2026-08-01 00:00:00') + (number % 86400) AS event_time,
if(intDiv(number, 100) % 10 = 0, 'purchase', 'view') AS event_type,
toUInt32(number) AS value
FROM numbers(1000000);
SELECT count() AS rows
FROM baseline_events;预期输出:
1000000如果测试的是生产表,不必复制全部生产数据,但至少要固定数据时间窗口、总行数、关键列分布和 Part 状态。否则今天 1 亿行、明天 1.3 亿行的两次测试不能直接比较。
固定代表性查询
基线查询应来自真实访问模式,并固定 SQL、参数和值域。下面选取一个租户的一天数据,再筛选 purchase 事件。按照前面的生成规则,结果稳定为 1000 行。
SELECT count()
FROM baseline_events
WHERE tenant_id = 42
AND event_date = '2026-08-01'
AND event_type = 'purchase';预期输出:
1000不要在优化前后随意改变过滤值。不同租户、日期或事件类型可能对应完全不同的数据量与 Part 分布,即使 SQL 模板相同,也不一定具有可比性。
记录延迟、扫描量与内存
ClickHouse 可以通过 log_comment 给一次基线查询打标签,再从 system.query_log 读取完成记录。以下示例依赖服务器已启用查询日志;如果环境关闭了 query_log,需要先由管理员启用后再使用本方法。
SELECT count()
FROM baseline_events
WHERE tenant_id = 42
AND event_date = '2026-08-01'
AND event_type = 'purchase'
SETTINGS log_comment = 'baseline-tenant-42';
SYSTEM FLUSH LOGS;
SELECT
query_duration_ms,
read_rows,
read_bytes,
memory_usage
FROM system.query_log
WHERE type = 'QueryFinish'
AND log_comment = 'baseline-tenant-42'
ORDER BY event_time DESC
LIMIT 1;预期输出形态如下,数值取决于硬件、版本、Part 布局和缓存状态:
query_duration_ms read_rows read_bytes memory_usage
<VALUE> <VALUE> <VALUE> <VALUE>四个指标回答的是不同问题:query_duration_ms 是最终延迟,read_rows 与 read_bytes 反映实际扫描范围,memory_usage 记录该次查询的内存使用情况。只看延迟容易被缓存、并发和系统抖动误导,所以至少要把扫描量一起保存。
处理缓存与重复采样
一次执行不能代表稳定性能。相同查询应重复多次,并明确区分首次执行与后续执行。首次运行可能包含文件系统缓存未命中的代价,后续运行则更接近热缓存场景。
建议固定记录 ClickHouse 版本、服务器规格、并发度、查询参数、数据行数、活跃 Part 数量、缓存条件,以及每次采样的延迟和扫描量。比较优化方案时,优先比较同一统计口径下的中位数和高分位延迟,不要只挑最快的一次。
如果优化后只有 query_duration_ms 下降,而 read_rows、read_bytes 完全不变,需要继续确认收益来自执行方式变化,还是仅来自缓存和系统负载差异。反过来,如果扫描量显著下降,即使单次延迟存在抖动,也通常说明数据布局或过滤裁剪方向有效。
定义可复测的验收口径
一份可用基线应能回答三个问题:测试数据是否相同、查询是否相同、指标是否用同一方法采集。后续调整排序键、分区、投影或查询写法时,都应重新执行同一组基线查询,再比较延迟、扫描量和资源消耗。
最小验收记录可以写成“数据 100 万行;查询标签 baseline-tenant-42;结果 1000 行;保存多次 query_duration_ms、read_rows、read_bytes、memory_usage”。只要这些条件保持稳定,后面的优化就有了可重复、可解释的比较基准。