大数据与流处理 / 系统课时

搭建可复现的实验环境

搭建可复现的实验环境

性能实验最怕环境、数据和查询每次都变化。本节用 Docker Compose 固定 ClickHouse 版本、账号和持久化方式,再准备一套可重复重建数据、执行基线查询、采集指标和清理环境的命令,让后续优化有可比较的起点。

学习目标

  • 用固定镜像版本启动并验证单节点 ClickHouse。
  • 构造每次重建都一致的实验数据集。
  • 形成“重置数据 → 执行查询 → 采集指标 → 清理”的可重复流程。

固定实验边界

本地实验建议准备 Docker Engine 或 Docker Desktop 与 Compose v2。为了减少性能噪声,尽量给容器稳定的 CPU 和内存配额,不要在导入或压测同时运行重负载任务。

本课程实验固定镜像标签为 26.7.5.10,避免 latest 在不同时间拉取到不同版本。目录只需要一个 compose.yaml 和一个 sql 子目录:

bash
mkdir -p clickhouse-lab/sql
cd clickhouse-lab
pwd

预期输出中的绝对路径因系统而异。

text
<PATH>/clickhouse-lab

将下面配置保存为 compose.yaml。8123 是 HTTP 接口,9000 是原生客户端接口;命名卷保存服务数据,账号只用于本地实验,不应直接复制到生产环境。

yaml
services:
  clickhouse:
    image: clickhouse/clickhouse-server:26.7.5.10
    container_name: clickhouse-lab
    ports:
      - "8123:8123"
      - "9000:9000"
    environment:
      CLICKHOUSE_DB: lab
      CLICKHOUSE_USER: lab
      CLICKHOUSE_PASSWORD: labpass
      CLICKHOUSE_DEFAULT_ACCESS_MANAGEMENT: "1"
    ulimits:
      nofile:
        soft: 262144
        hard: 262144
    volumes:
      - clickhouse-data:/var/lib/clickhouse
    healthcheck:
      test:
        - CMD
        - clickhouse-client
        - --user
        - lab
        - --password
        - labpass
        - --query
        - SELECT 1
      interval: 2s
      timeout: 2s
      retries: 30

volumes:
  clickhouse-data:

这份配置的生效验证不是“容器存在”,而是服务能够完成 SQL 请求。先启动服务:

bash
docker compose up -d

预期结果是 Compose 正常退出并启动 clickhouse-lab;首次运行可能先拉取镜像,状态文本会随 Compose 版本不同。

text
clickhouse-lab 已启动

再查询服务版本和当前数据库:

bash
docker exec clickhouse-lab \
  clickhouse-client \
  --user lab \
  --password labpass \
  --database lab \
  --query "SELECT version(), currentDatabase() FORMAT TabSeparated"

预期输出如下:

text
26.7.5.10	lab

如果容器没有变为健康状态,先执行 docker compose ps 和 docker compose logs clickhouse。常见原因是宿主机端口被占用、Docker 分配资源过低,或旧容器使用了同名 clickhouse-lab。

准备可重复重建的数据

性能对比需要固定数据分布,因此不要用 now() 生成实验时间。将下面内容保存为 sql/reset.sql;每次执行都会先删除旧表,再用固定规则生成 100 万行数据。

sql
DROP TABLE IF EXISTS lab.events;

CREATE TABLE lab.events
(
    event_time DateTime,
    tenant_id UInt32,
    event_type LowCardinality(String),
    value Float64,
    payload String
)
ENGINE = MergeTree
PARTITION BY toYYYYMM(event_time)
ORDER BY (tenant_id, event_time);

INSERT INTO lab.events
SELECT
    toDateTime('2026-01-01 00:00:00') + toIntervalSecond(number % 604800),
    toUInt32(number % 100),
    multiIf(
        number % 10 = 0, 'purchase',
        number % 3 = 0, 'click',
        'view'
    ),
    toFloat64(number % 10000) / 100,
    repeat('x', 100)
FROM numbers(1000000);

SELECT
    count() AS rows,
    uniqExact(tenant_id) AS tenants,
    countIf(event_type = 'purchase') AS purchases
FROM lab.events
FORMAT TabSeparated;

用同一个客户端执行脚本:

bash
docker exec -i clickhouse-lab \
  clickhouse-client \
  --user lab \
  --password labpass \
  --database lab \
  --multiquery < sql/reset.sql

预期结果最后一条查询稳定得到以下三项:

text
1000000	100	100000

如果这三个值不同,就不要继续做性能比较。先重新执行 reset.sql,确认镜像版本和脚本没有被修改。

建立查询与指标采集脚本

将下面内容保存为 sql/baseline.sql。查询使用固定时间范围和租户条件,并通过 log_comment 给本次测量打标签;随后强制刷新系统日志,再读取延迟、读取行数、读取字节和内存占用。

sql
SELECT count(), sum(value)
FROM lab.events
WHERE tenant_id = 7
  AND event_time >= toDateTime('2026-01-03 00:00:00')
  AND event_time < toDateTime('2026-01-04 00:00:00')
SETTINGS log_comment = 'lab-baseline'
FORMAT TabSeparated;

SYSTEM FLUSH LOGS;

SELECT
    query_duration_ms,
    read_rows,
    read_bytes,
    memory_usage
FROM system.query_log
WHERE type = 'QueryFinish'
  AND log_comment = 'lab-baseline'
ORDER BY event_time_microseconds DESC
LIMIT 1
FORMAT TabSeparated;

执行时使用同一账号和数据库:

bash
docker exec -i clickhouse-lab \
  clickhouse-client \
  --user lab \
  --password labpass \
  --database lab \
  --multiquery < sql/baseline.sql

预期结果先出现聚合结果,再出现一条查询日志记录。时间、读取量与内存取决于机器和缓存状态,因此只验证字段存在,不固定具体数值。

text
<VALUE>	<VALUE>
<VALUE>	<VALUE>	<VALUE>	<VALUE>

后续比较模型或查询写法时,应保持镜像、数据脚本和查询条件不变,并在同样的缓存与并发条件下多次执行。单次耗时只能说明一次运行结果,不能代表稳定性能。

重置与彻底清理

普通实验只需要重新运行 reset.sql,这样容器和版本都不变,数据可以回到同一分布。只有要从零验证安装过程时,才删除容器和命名卷,并重新启动后检查版本。

bash
docker compose down -v
docker compose up -d

docker exec clickhouse-lab \
  clickhouse-client \
  --user lab \
  --password labpass \
  --database lab \
  --query "SELECT version(), currentDatabase() FORMAT TabSeparated"

预期结果是旧容器与 clickhouse-data 卷被删除并重新创建;Compose 状态文本会随版本变化,最后一行应保持为固定版本和数据库。

text
26.7.5.10	lab

至此,版本、数据生成规则、执行入口和指标采集路径都已经固定。后续任何优化实验都应一次只改变一个变量,并保留优化前后的 query_duration_ms、read_rows、read_bytes 与 memory_usage,否则“更快”很难被可靠归因。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

搭建可复现的实验环境

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通