大数据与流处理 / 系统课时

选择 MergeTree 家族引擎

选择 MergeTree 家族引擎

面对明细事实、重复版本和预聚合结果时,真正要选的是合并语义,而不是“哪个引擎更快”。本课用同一业务键说明四类 MergeTree 家族引擎如何处理同键行,并给出可以直接验证的选择边界。

学习目标

  • 根据明细保留、版本替换、数值求和和聚合状态合并四类需求选择引擎
  • 理解后台合并是异步的,知道查询何时需要 FINAL 或再次聚合
  • 明确 ORDER BY 决定同键范围,不把排序键误当作唯一约束

先从合并语义做选择

MergeTree 家族都把写入形成不可变数据 Part,并在后台持续合并 Part。普通 MergeTree 的合并主要重组数据,不会因为排序键相同就自动删除明细;另外三类引擎则在合并时附加“替换、求和或合并聚合状态”的规则。

因此先问一个问题:同一排序键出现多行时,最终希望保留什么? 如果答案只是“全部保留”,就从 MergeTree 开始;只有业务语义明确要求收敛时,才选择特殊引擎。

MergeTree 家族引擎选择与合并语义

四类引擎的适用边界

引擎 同排序键行的合并语义 典型场景 查询侧要点
MergeTree 保留所有明细 事件流、日志、不可变事实 直接按事实查询
ReplacingMergeTree 保留一个版本,可用版本列决定较新记录 CDC、维表当前状态、幂等重放后的去重 合并前可能同时看到多个版本;需要立即去重时可用 FINAL
SummingMergeTree 对同键的可加数值列做求和 按天、店铺、产品等维度保存增量计数或金额 查询仍应用 sum() 与 GROUP BY 兜住尚未完成的后台合并
AggregatingMergeTree 合并 AggregateFunction 或 SimpleAggregateFunction 状态 uniq、avg、分位数等不能靠普通数值相加完成的预聚合 AggregateFunction 通常用 *State 写入、*Merge 读取

ReplacingMergeTree 不是唯一约束。新版本写入后,旧版本何时被清理由后台 merge 决定;SummingMergeTree 和 AggregatingMergeTree 也同样依赖后台合并,所以不能把“磁盘上已经物理收敛”当成查询正确性的前提。

用 ReplacingMergeTree 验证版本替换

下面建立一张订单当前状态表。order_id 是排序键,version 是递增版本号;同一订单重复到达时,通过 ReplacingMergeTree(version) 让更高版本成为保留候选。

sql
DROP TABLE IF EXISTS orders_rmt;

CREATE TABLE orders_rmt
(
    order_id UInt64,
    status LowCardinality(String),
    amount UInt32,
    version UInt64
)
ENGINE = ReplacingMergeTree(version)
ORDER BY order_id;

INSERT INTO orders_rmt VALUES
    (1001, 'pending', 120, 1),
    (1001, 'paid',    120, 2),
    (1002, 'paid',     80, 1);

SELECT order_id, status, amount, version
FROM orders_rmt FINAL
ORDER BY order_id;

预期结果

text
┌─order_id─┬─status─┬─amount─┬─version─┐
│     1001 │ paid   │    120 │       2 │
│     1002 │ paid   │     80 │       1 │
└──────────┴────────┴────────┴─────────┘

这里使用 FINAL 是为了在查询阶段应用替换语义,因此不必等待后台 merge。它适合需要立即得到去重结果的查询,但会增加读取工作量;不要把频繁执行 OPTIMIZE TABLE ... FINAL 当成日常去重机制。

什么时候改用求和或聚合状态

如果业务只需要“同一维度键上的可加增量”,例如每小时请求数、销售额增量,SummingMergeTree 更直接。目标表最好只保留分组键和真正需要求和的指标,读取时继续按同一分组键执行 sum(),这样即使新 Part 尚未合并也能得到正确总量。

如果指标是去重用户数、平均值或分位数,就不能把最终数值简单相加。此时应让 AggregatingMergeTree 存储聚合中间状态:写入侧产生 uniqState、avgState 等状态,读取侧使用对应的 uniqMerge、avgMerge。它更复杂,但能正确组合多批次的非加法聚合。

选择时守住三个边界

  • 排序键定义了“同键”:特殊 MergeTree 引擎按 ORDER BY 键判断哪些行可以收敛,因此排序键既要服务查询,也必须包含业务上区分实体所需的字段。
  • 分区是合并边界:不同分区的 Part 不会互相 merge。如果同一业务实体的多个版本可能落入不同分区,就不能指望 ReplacingMergeTree 在后台把它们替换成一行。
  • 特殊引擎不是万能更新机制:需要保留完整事件历史时优先用 MergeTree;只有确实需要“当前状态”或“预聚合状态”时,再把写入模型改成替换或聚合语义。

选择顺序可以压缩成一句话:先决定是否保留明细,再决定同键行要替换、求和还是合并聚合状态;如果没有明确的收敛语义,就使用普通 MergeTree。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

选择 MergeTree 家族引擎

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通