大数据与流处理 / 系统课时
选择高效的数据类型
选择高效的数据类型
ClickHouse 的类型选择会直接影响列宽、压缩率、扫描字节数和聚合成本。本课从值域、精度、基数与空值语义出发,建立一套可落地的选型顺序,并用一张 MergeTree 表验证数值、时间、LowCardinality 与 Nullable 的组合。
学习目标
- 根据业务值域为整数、金额和时间选择合适类型
- 判断字符串维度何时适合
LowCardinality(String) - 只在确有“缺失”语义时使用
Nullable(T)
先按值域和精度缩小类型
不要把上游的 BIGINT、DOUBLE 或字符串类型原样搬进 ClickHouse。先问“这个字段未来允许出现什么值”,再选能够覆盖该值域的最窄类型,并为增长预留合理空间。
无负数的计数、状态码和字节数优先考虑 UInt8 到 UInt64;可能出现负数时使用对应的 Int*。金额、费率等要求十进制定点精度的值优先用 Decimal(P, S),不要用二进制浮点表示必须精确相等的金额。传感器读数、统计指标等允许近似误差的连续值再考虑 Float32 或 Float64。
时间同样按语义选:只有日期用 Date 或更大范围的日期类型;秒级事件时间用 DateTime;需要毫秒、微秒等小数秒时使用 DateTime64(P)。如果数据跨时区,表结构中明确时区比依赖客户端默认时区更稳妥。
按基数处理字符串维度
String 适合自由文本、高基数标识符和长度变化明显的内容。像国家、环境、服务名、日志级别这类重复值很多、不同值相对少的字符串维度,通常更适合 LowCardinality(String):ClickHouse 用字典保存不同值,行数据主要保存字典索引,可减少重复字符串的存储与比较成本。
判断标准不是“字段看起来像枚举”,而是实际基数和查询方式。用户代理、完整 URL、请求 ID 这类高基数字段通常继续使用 String。如果取值集合非常稳定且需要由 schema 强约束,也可以评估 Enum8 或 Enum16;若值集合会持续演进,LowCardinality(String) 通常更易维护。
把空值语义建模清楚
Nullable(T) 表达的是“这个值可能不存在”,而不是“为了保险所有列都允许 NULL”。Nullable 列需要额外维护空值标记,并会让过滤、聚合和表达式多一层空值语义,因此不应作为默认选择。
如果 0、空字符串或某个业务状态本身就是合法值,就不能随意拿它代替“未知”;反过来,如果字段在业务上必填,也不要仅因为源数据偶尔脏就把整列改成 Nullable。更好的做法是先修复或隔离异常写入。
用一张表落地类型选择
下面的示例把事件 ID、毫秒时间、低基数国家、精确金额、延迟、HTTP 状态码和可缺失用户 ID 放到同一张 MergeTree 表中。可直接在 clickhouse-client 会话执行。
DROP TABLE IF EXISTS event_types_demo;
CREATE TABLE event_types_demo
(
event_id UInt64,
event_time DateTime64(3, 'UTC'),
country LowCardinality(String),
amount Decimal(12, 2),
latency_ms UInt32,
status_code UInt16,
user_id Nullable(UInt64)
)
ENGINE = MergeTree
ORDER BY (event_time, event_id);
INSERT INTO event_types_demo VALUES
(1, '2026-08-31 12:34:56.789', 'US', 19.90, 87, 200, 1001),
(2, '2026-08-31 12:35:01.002', 'DE', 0.00, 143, 503, NULL);
SELECT
event_id,
country,
amount,
latency_ms,
status_code,
isNull(user_id) AS anonymous
FROM event_types_demo
ORDER BY event_id;预期结果如下,客户端的边框样式可能不同,但两行值应一致。
event_id country amount latency_ms status_code anonymous
1 US 19.90 87 200 0
2 DE 0.00 143 503 1这里 amount 使用 Decimal 保留两位十进制语义,country 用低基数字典编码,user_id 只有第二行真正缺失时才为 NULL。event_time 和 event_id 放入排序键是查询组织方式的问题,不是数据类型本身的要求。
选择类型时可以固定按“值域与符号 → 精度 → 时间粒度 → 字符串基数 → 是否真正可空”的顺序检查。先把 schema 的语义做对,再用实际数据量验证压缩与查询成本,比从通用大类型开始再被动优化更可靠。