大数据与流处理 / 系统课时

建立数据与查询基线

建立数据与查询基线

性能优化只有在前后条件可比较时才有意义。这节课会固定一份可重复数据、一个代表性查询和一组观测指标,用 ClickHouse 的 system.query_log 记录延迟、扫描量与内存消耗,建立后续优化能够复测的基线。

学习目标

  • 固定数据规模、表结构与查询样本,避免测试条件漂移
  • 记录查询延迟、read_rows、read_bytes 和内存等核心指标
  • 用相同查询重复采样,并区分首次执行与缓存影响

固定可重复的数据样本

基线首先要固定“输入”。表结构、排序键、数据量、数据分布只要任意一项改变,后续延迟差异就不再只代表优化效果。

下面创建 100 万行测试数据。数据完全由 numbers() 生成,重复执行时分布一致,适合做本地实验基线。

sql
DROP TABLE IF EXISTS baseline_events;

CREATE TABLE baseline_events
(
    tenant_id UInt32,
    event_date Date,
    event_time DateTime,
    event_type LowCardinality(String),
    value UInt32
)
ENGINE = MergeTree
ORDER BY (tenant_id, event_date, event_time);

INSERT INTO baseline_events
SELECT
    number % 100 AS tenant_id,
    toDate('2026-08-01') AS event_date,
    toDateTime('2026-08-01 00:00:00') + (number % 86400) AS event_time,
    if(intDiv(number, 100) % 10 = 0, 'purchase', 'view') AS event_type,
    toUInt32(number) AS value
FROM numbers(1000000);

SELECT count() AS rows
FROM baseline_events;

预期输出:

text
1000000

如果测试的是生产表,不必复制全部生产数据,但至少要固定数据时间窗口、总行数、关键列分布和 Part 状态。否则今天 1 亿行、明天 1.3 亿行的两次测试不能直接比较。

固定代表性查询

基线查询应来自真实访问模式,并固定 SQL、参数和值域。下面选取一个租户的一天数据,再筛选 purchase 事件。按照前面的生成规则,结果稳定为 1000 行。

sql
SELECT count()
FROM baseline_events
WHERE tenant_id = 42
  AND event_date = '2026-08-01'
  AND event_type = 'purchase';

预期输出:

text
1000

不要在优化前后随意改变过滤值。不同租户、日期或事件类型可能对应完全不同的数据量与 Part 分布,即使 SQL 模板相同,也不一定具有可比性。

记录延迟、扫描量与内存

ClickHouse 可以通过 log_comment 给一次基线查询打标签,再从 system.query_log 读取完成记录。以下示例依赖服务器已启用查询日志;如果环境关闭了 query_log,需要先由管理员启用后再使用本方法。

sql
SELECT count()
FROM baseline_events
WHERE tenant_id = 42
  AND event_date = '2026-08-01'
  AND event_type = 'purchase'
SETTINGS log_comment = 'baseline-tenant-42';

SYSTEM FLUSH LOGS;

SELECT
    query_duration_ms,
    read_rows,
    read_bytes,
    memory_usage
FROM system.query_log
WHERE type = 'QueryFinish'
  AND log_comment = 'baseline-tenant-42'
ORDER BY event_time DESC
LIMIT 1;

预期输出形态如下,数值取决于硬件、版本、Part 布局和缓存状态:

text
query_duration_ms  read_rows  read_bytes  memory_usage
<VALUE>            <VALUE>    <VALUE>     <VALUE>

四个指标回答的是不同问题:query_duration_ms 是最终延迟,read_rows 与 read_bytes 反映实际扫描范围,memory_usage 记录该次查询的内存使用情况。只看延迟容易被缓存、并发和系统抖动误导,所以至少要把扫描量一起保存。

处理缓存与重复采样

一次执行不能代表稳定性能。相同查询应重复多次,并明确区分首次执行与后续执行。首次运行可能包含文件系统缓存未命中的代价,后续运行则更接近热缓存场景。

建议固定记录 ClickHouse 版本、服务器规格、并发度、查询参数、数据行数、活跃 Part 数量、缓存条件,以及每次采样的延迟和扫描量。比较优化方案时,优先比较同一统计口径下的中位数和高分位延迟,不要只挑最快的一次。

如果优化后只有 query_duration_ms 下降,而 read_rows、read_bytes 完全不变,需要继续确认收益来自执行方式变化,还是仅来自缓存和系统负载差异。反过来,如果扫描量显著下降,即使单次延迟存在抖动,也通常说明数据布局或过滤裁剪方向有效。

定义可复测的验收口径

一份可用基线应能回答三个问题:测试数据是否相同、查询是否相同、指标是否用同一方法采集。后续调整排序键、分区、投影或查询写法时,都应重新执行同一组基线查询,再比较延迟、扫描量和资源消耗。

最小验收记录可以写成“数据 100 万行;查询标签 baseline-tenant-42;结果 1000 行;保存多次 query_duration_ms、read_rows、read_bytes、memory_usage”。只要这些条件保持稳定,后面的优化就有了可重复、可解释的比较基准。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

建立数据与查询基线

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通