大数据与流处理 / 系统课时
选择压缩编码
选择压缩编码
压缩编码不是“选一个压缩率最高的算法”就结束,而是先识别列值随排序后的变化规律,再组合专用编码与通用压缩器,并用真实数据验证收益。本课用同一份 MergeTree 数据做 A/B 对照,建立可重复的 CODEC 选择方法。
学习目标
- 根据单调性、时间间隔、数值波动和字符串分布缩小 CODEC 候选范围
- 用相同数据比较默认压缩与显式 CODEC 的真实压缩率
- 判断压缩收益是否值得额外的写入、解压和迁移成本
先用数据规律缩小候选范围
ClickHouse 的 CODEC(...) 可以把“面向数据规律的变换”和 LZ4、ZSTD 这类通用压缩串起来。关键不是列的业务名称,而是值在磁盘排序后的相邻关系;因此应先确定 ORDER BY,再观察相邻值是否单调、步长是否稳定、浮点变化是否平滑。
| 数据特征 | 优先尝试 | 判断重点 |
|---|---|---|
| 单调递增的整数、计数器 | Delta + LZ4/ZSTD |
相邻差值是否明显小于原值 |
| 固定或近似固定间隔的时间 | DoubleDelta + LZ4/ZSTD |
差值的差值是否接近 0 |
缓慢变化的 Float32/Float64 时序指标 |
Gorilla + LZ4/ZSTD |
相邻浮点位模式是否相近 |
| 数值范围窄的整数 | T64 + LZ4/ZSTD |
实际取值范围是否远小于类型位宽 |
| 重复片段较多的长字符串 | ZSTD |
更高压缩率是否值得更多 CPU |
低基数字符串还应优先评估 LowCardinality(String)。它是数据类型层面的字典编码,不等同于 CODEC;如果类型选择本身就能明显减少冗余,不要只靠提高 ZSTD 级别解决问题。
用相同数据做对照实验
下面建立两张结构与排序键一致的表:一张使用默认压缩,另一张只改变各列 CODEC。min_bytes_for_wide_part = 0 让实验数据直接形成 Wide Part,便于读取稳定的列级压缩统计。
DROP TABLE IF EXISTS codec_demo_default;
DROP TABLE IF EXISTS codec_demo_tuned;
CREATE TABLE codec_demo_default
(
ts DateTime,
seq UInt64,
metric Float64,
message String
)
ENGINE = MergeTree
ORDER BY ts
SETTINGS min_bytes_for_wide_part = 0;
CREATE TABLE codec_demo_tuned
(
ts DateTime CODEC(DoubleDelta, ZSTD(1)),
seq UInt64 CODEC(Delta, ZSTD(1)),
metric Float64 CODEC(Gorilla, ZSTD(1)),
message String CODEC(ZSTD(3))
)
ENGINE = MergeTree
ORDER BY ts
SETTINGS min_bytes_for_wide_part = 0;
INSERT INTO codec_demo_default
SELECT
addSeconds(toDateTime('2026-01-01 00:00:00'), toInt32(number)),
number,
100.0 + sin(number / 100.0),
concat('service=api;status=', if(number % 20 = 0, 'warn', 'ok'), ';path=/orders')
FROM numbers(1000000);
INSERT INTO codec_demo_tuned SELECT * FROM codec_demo_default;
SELECT 'codec_demo_default' AS table, count() AS rows FROM codec_demo_default
UNION ALL
SELECT 'codec_demo_tuned', count() FROM codec_demo_tuned;预期结果
codec_demo_default 1000000
codec_demo_tuned 1000000两张表的数据内容、行数和排序完全相同,因此后续差异主要来自列编码与压缩器,而不是数据分布变化。
比较真实压缩效果
不要用经验表替代测量。查询 system.columns,同时看压缩后字节数和“未压缩字节 ÷ 压缩字节”的比值;比值越大代表压缩越充分,但最终还要结合查询 CPU 与延迟判断。
SELECT
table,
name,
if(empty(compression_codec), 'DEFAULT', compression_codec) AS codec,
formatReadableSize(data_compressed_bytes) AS compressed,
round(data_uncompressed_bytes / nullIf(data_compressed_bytes, 0), 2) AS ratio
FROM system.columns
WHERE database = currentDatabase()
AND table IN ('codec_demo_default', 'codec_demo_tuned')
AND name IN ('ts', 'seq', 'metric', 'message')
ORDER BY name, table;预期输出
codec_demo_default message DEFAULT <VALUE> <VALUE>
codec_demo_tuned message CODEC(ZSTD(3)) <VALUE> <VALUE>
codec_demo_default metric DEFAULT <VALUE> <VALUE>
codec_demo_tuned metric CODEC(Gorilla, ZSTD(1)) <VALUE> <VALUE>
codec_demo_default seq DEFAULT <VALUE> <VALUE>
codec_demo_tuned seq CODEC(Delta(8), ZSTD(1)) <VALUE> <VALUE>
codec_demo_default ts DEFAULT <VALUE> <VALUE>
codec_demo_tuned ts CODEC(DoubleDelta(4), ZSTD(1)) <VALUE> <VALUE><VALUE> 会随 ClickHouse 版本、压缩实现和数据块布局变化;部分版本会把 Delta、DoubleDelta 的字节宽度显式显示在 compression_codec 中。判断标准不是“每列都必须变小”,而是目标列的压缩后体积是否明显下降,并且读写性能仍符合负载要求。
把压缩收益放回查询成本里
更高压缩率通常意味着更少 I/O,但更重的压缩器也会消耗更多 CPU。频繁扫描的热列应优先保证解压速度,冷数据或大字符串才更适合尝试较高压缩率;同一张表也完全可以按列使用不同策略。
真正可复用的选择顺序是:先选正确类型和排序键,再按数据规律挑 1~2 个 CODEC 候选,最后用真实数据比较压缩体积、查询耗时和 CPU。只要收益不稳定或查询变慢,就保留更简单的编码方案。