大数据与流处理 / 系统课时
搭建可复现的实验环境
搭建可复现的实验环境
性能实验最怕环境、数据和查询每次都变化。本节用 Docker Compose 固定 ClickHouse 版本、账号和持久化方式,再准备一套可重复重建数据、执行基线查询、采集指标和清理环境的命令,让后续优化有可比较的起点。
学习目标
- 用固定镜像版本启动并验证单节点 ClickHouse。
- 构造每次重建都一致的实验数据集。
- 形成“重置数据 → 执行查询 → 采集指标 → 清理”的可重复流程。
固定实验边界
本地实验建议准备 Docker Engine 或 Docker Desktop 与 Compose v2。为了减少性能噪声,尽量给容器稳定的 CPU 和内存配额,不要在导入或压测同时运行重负载任务。
本课程实验固定镜像标签为 26.7.5.10,避免 latest 在不同时间拉取到不同版本。目录只需要一个 compose.yaml 和一个 sql 子目录:
mkdir -p clickhouse-lab/sql
cd clickhouse-lab
pwd预期输出中的绝对路径因系统而异。
<PATH>/clickhouse-lab将下面配置保存为 compose.yaml。8123 是 HTTP 接口,9000 是原生客户端接口;命名卷保存服务数据,账号只用于本地实验,不应直接复制到生产环境。
services:
clickhouse:
image: clickhouse/clickhouse-server:26.7.5.10
container_name: clickhouse-lab
ports:
- "8123:8123"
- "9000:9000"
environment:
CLICKHOUSE_DB: lab
CLICKHOUSE_USER: lab
CLICKHOUSE_PASSWORD: labpass
CLICKHOUSE_DEFAULT_ACCESS_MANAGEMENT: "1"
ulimits:
nofile:
soft: 262144
hard: 262144
volumes:
- clickhouse-data:/var/lib/clickhouse
healthcheck:
test:
- CMD
- clickhouse-client
- --user
- lab
- --password
- labpass
- --query
- SELECT 1
interval: 2s
timeout: 2s
retries: 30
volumes:
clickhouse-data:这份配置的生效验证不是“容器存在”,而是服务能够完成 SQL 请求。先启动服务:
docker compose up -d预期结果是 Compose 正常退出并启动 clickhouse-lab;首次运行可能先拉取镜像,状态文本会随 Compose 版本不同。
clickhouse-lab 已启动再查询服务版本和当前数据库:
docker exec clickhouse-lab \
clickhouse-client \
--user lab \
--password labpass \
--database lab \
--query "SELECT version(), currentDatabase() FORMAT TabSeparated"预期输出如下:
26.7.5.10 lab如果容器没有变为健康状态,先执行 docker compose ps 和 docker compose logs clickhouse。常见原因是宿主机端口被占用、Docker 分配资源过低,或旧容器使用了同名 clickhouse-lab。
准备可重复重建的数据
性能对比需要固定数据分布,因此不要用 now() 生成实验时间。将下面内容保存为 sql/reset.sql;每次执行都会先删除旧表,再用固定规则生成 100 万行数据。
DROP TABLE IF EXISTS lab.events;
CREATE TABLE lab.events
(
event_time DateTime,
tenant_id UInt32,
event_type LowCardinality(String),
value Float64,
payload String
)
ENGINE = MergeTree
PARTITION BY toYYYYMM(event_time)
ORDER BY (tenant_id, event_time);
INSERT INTO lab.events
SELECT
toDateTime('2026-01-01 00:00:00') + toIntervalSecond(number % 604800),
toUInt32(number % 100),
multiIf(
number % 10 = 0, 'purchase',
number % 3 = 0, 'click',
'view'
),
toFloat64(number % 10000) / 100,
repeat('x', 100)
FROM numbers(1000000);
SELECT
count() AS rows,
uniqExact(tenant_id) AS tenants,
countIf(event_type = 'purchase') AS purchases
FROM lab.events
FORMAT TabSeparated;用同一个客户端执行脚本:
docker exec -i clickhouse-lab \
clickhouse-client \
--user lab \
--password labpass \
--database lab \
--multiquery < sql/reset.sql预期结果最后一条查询稳定得到以下三项:
1000000 100 100000如果这三个值不同,就不要继续做性能比较。先重新执行 reset.sql,确认镜像版本和脚本没有被修改。
建立查询与指标采集脚本
将下面内容保存为 sql/baseline.sql。查询使用固定时间范围和租户条件,并通过 log_comment 给本次测量打标签;随后强制刷新系统日志,再读取延迟、读取行数、读取字节和内存占用。
SELECT count(), sum(value)
FROM lab.events
WHERE tenant_id = 7
AND event_time >= toDateTime('2026-01-03 00:00:00')
AND event_time < toDateTime('2026-01-04 00:00:00')
SETTINGS log_comment = 'lab-baseline'
FORMAT TabSeparated;
SYSTEM FLUSH LOGS;
SELECT
query_duration_ms,
read_rows,
read_bytes,
memory_usage
FROM system.query_log
WHERE type = 'QueryFinish'
AND log_comment = 'lab-baseline'
ORDER BY event_time_microseconds DESC
LIMIT 1
FORMAT TabSeparated;执行时使用同一账号和数据库:
docker exec -i clickhouse-lab \
clickhouse-client \
--user lab \
--password labpass \
--database lab \
--multiquery < sql/baseline.sql预期结果先出现聚合结果,再出现一条查询日志记录。时间、读取量与内存取决于机器和缓存状态,因此只验证字段存在,不固定具体数值。
<VALUE> <VALUE>
<VALUE> <VALUE> <VALUE> <VALUE>后续比较模型或查询写法时,应保持镜像、数据脚本和查询条件不变,并在同样的缓存与并发条件下多次执行。单次耗时只能说明一次运行结果,不能代表稳定性能。
重置与彻底清理
普通实验只需要重新运行 reset.sql,这样容器和版本都不变,数据可以回到同一分布。只有要从零验证安装过程时,才删除容器和命名卷,并重新启动后检查版本。
docker compose down -v
docker compose up -d
docker exec clickhouse-lab \
clickhouse-client \
--user lab \
--password labpass \
--database lab \
--query "SELECT version(), currentDatabase() FORMAT TabSeparated"预期结果是旧容器与 clickhouse-data 卷被删除并重新创建;Compose 状态文本会随版本变化,最后一行应保持为固定版本和数据库。
26.7.5.10 lab至此,版本、数据生成规则、执行入口和指标采集路径都已经固定。后续任何优化实验都应一次只改变一个变量,并保留优化前后的 query_duration_ms、read_rows、read_bytes 与 memory_usage,否则“更快”很难被可靠归因。