大数据与流处理 / 系统课时

选择压缩编码

选择压缩编码

压缩编码不是“选一个压缩率最高的算法”就结束,而是先识别列值随排序后的变化规律,再组合专用编码与通用压缩器,并用真实数据验证收益。本课用同一份 MergeTree 数据做 A/B 对照,建立可重复的 CODEC 选择方法。

学习目标

  • 根据单调性、时间间隔、数值波动和字符串分布缩小 CODEC 候选范围
  • 用相同数据比较默认压缩与显式 CODEC 的真实压缩率
  • 判断压缩收益是否值得额外的写入、解压和迁移成本

先用数据规律缩小候选范围

ClickHouse 的 CODEC(...) 可以把“面向数据规律的变换”和 LZ4、ZSTD 这类通用压缩串起来。关键不是列的业务名称,而是值在磁盘排序后的相邻关系;因此应先确定 ORDER BY,再观察相邻值是否单调、步长是否稳定、浮点变化是否平滑。

数据特征 优先尝试 判断重点
单调递增的整数、计数器 Delta + LZ4/ZSTD 相邻差值是否明显小于原值
固定或近似固定间隔的时间 DoubleDelta + LZ4/ZSTD 差值的差值是否接近 0
缓慢变化的 Float32/Float64 时序指标 Gorilla + LZ4/ZSTD 相邻浮点位模式是否相近
数值范围窄的整数 T64 + LZ4/ZSTD 实际取值范围是否远小于类型位宽
重复片段较多的长字符串 ZSTD 更高压缩率是否值得更多 CPU

低基数字符串还应优先评估 LowCardinality(String)。它是数据类型层面的字典编码,不等同于 CODEC;如果类型选择本身就能明显减少冗余,不要只靠提高 ZSTD 级别解决问题。

用相同数据做对照实验

下面建立两张结构与排序键一致的表:一张使用默认压缩,另一张只改变各列 CODEC。min_bytes_for_wide_part = 0 让实验数据直接形成 Wide Part,便于读取稳定的列级压缩统计。

sql
DROP TABLE IF EXISTS codec_demo_default;
DROP TABLE IF EXISTS codec_demo_tuned;

CREATE TABLE codec_demo_default
(
    ts DateTime,
    seq UInt64,
    metric Float64,
    message String
)
ENGINE = MergeTree
ORDER BY ts
SETTINGS min_bytes_for_wide_part = 0;

CREATE TABLE codec_demo_tuned
(
    ts DateTime CODEC(DoubleDelta, ZSTD(1)),
    seq UInt64 CODEC(Delta, ZSTD(1)),
    metric Float64 CODEC(Gorilla, ZSTD(1)),
    message String CODEC(ZSTD(3))
)
ENGINE = MergeTree
ORDER BY ts
SETTINGS min_bytes_for_wide_part = 0;

INSERT INTO codec_demo_default
SELECT
    addSeconds(toDateTime('2026-01-01 00:00:00'), toInt32(number)),
    number,
    100.0 + sin(number / 100.0),
    concat('service=api;status=', if(number % 20 = 0, 'warn', 'ok'), ';path=/orders')
FROM numbers(1000000);

INSERT INTO codec_demo_tuned SELECT * FROM codec_demo_default;

SELECT 'codec_demo_default' AS table, count() AS rows FROM codec_demo_default
UNION ALL
SELECT 'codec_demo_tuned', count() FROM codec_demo_tuned;

预期结果

text
codec_demo_default  1000000
codec_demo_tuned    1000000

两张表的数据内容、行数和排序完全相同,因此后续差异主要来自列编码与压缩器,而不是数据分布变化。

比较真实压缩效果

不要用经验表替代测量。查询 system.columns,同时看压缩后字节数和“未压缩字节 ÷ 压缩字节”的比值;比值越大代表压缩越充分,但最终还要结合查询 CPU 与延迟判断。

sql
SELECT
    table,
    name,
    if(empty(compression_codec), 'DEFAULT', compression_codec) AS codec,
    formatReadableSize(data_compressed_bytes) AS compressed,
    round(data_uncompressed_bytes / nullIf(data_compressed_bytes, 0), 2) AS ratio
FROM system.columns
WHERE database = currentDatabase()
  AND table IN ('codec_demo_default', 'codec_demo_tuned')
  AND name IN ('ts', 'seq', 'metric', 'message')
ORDER BY name, table;

预期输出

text
codec_demo_default  message  DEFAULT                         <VALUE>  <VALUE>
codec_demo_tuned    message  CODEC(ZSTD(3))                  <VALUE>  <VALUE>
codec_demo_default  metric   DEFAULT                         <VALUE>  <VALUE>
codec_demo_tuned    metric   CODEC(Gorilla, ZSTD(1))         <VALUE>  <VALUE>
codec_demo_default  seq      DEFAULT                         <VALUE>  <VALUE>
codec_demo_tuned    seq      CODEC(Delta(8), ZSTD(1))        <VALUE>  <VALUE>
codec_demo_default  ts       DEFAULT                         <VALUE>  <VALUE>
codec_demo_tuned    ts       CODEC(DoubleDelta(4), ZSTD(1))  <VALUE>  <VALUE>

<VALUE> 会随 ClickHouse 版本、压缩实现和数据块布局变化;部分版本会把 Delta、DoubleDelta 的字节宽度显式显示在 compression_codec 中。判断标准不是“每列都必须变小”,而是目标列的压缩后体积是否明显下降,并且读写性能仍符合负载要求。

把压缩收益放回查询成本里

更高压缩率通常意味着更少 I/O,但更重的压缩器也会消耗更多 CPU。频繁扫描的热列应优先保证解压速度,冷数据或大字符串才更适合尝试较高压缩率;同一张表也完全可以按列使用不同策略。

真正可复用的选择顺序是:先选正确类型和排序键,再按数据规律挑 1~2 个 CODEC 候选,最后用真实数据比较压缩体积、查询耗时和 CPU。只要收益不稳定或查询变慢,就保留更简单的编码方案。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

选择压缩编码

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通