大数据与流处理 / 系统课时
优化 DISTINCT 与去重计算
优化 DISTINCT 与去重计算
去重优化的关键不是把 DISTINCT 换成某个函数,而是先确认你要的是“唯一行”还是“唯一数量”,再按精度要求控制聚合状态规模。选对方法后,通常能同时降低内存、网络传输和聚合合并成本。
学习目标
- 区分
DISTINCT、uniqExact与近似去重函数解决的问题 - 根据基数、精度和查询频率选择合适的去重方式
- 通过减少输入列、提前过滤和复用聚合状态降低执行成本
先区分唯一行与唯一数量
SELECT DISTINCT a, b 返回去重后的 (a, b) 行集合,适合需要继续展示或下游处理唯一值的场景。它的成本与参与去重的列宽、输入行数和组合基数有关,因此把无关列一起放进 DISTINCT 会直接扩大状态。
如果最终只需要一个基数值,就没有必要先产出唯一行再 count()。ClickHouse 提供了多种 uniq* 聚合函数,可以直接维护去重状态并返回数量。精确与近似方案的主要差别不是 SQL 写法,而是状态是否必须记住全部唯一值。
| 需求 | 推荐方式 | 精度 | 状态特征 |
|---|---|---|---|
| 返回唯一行 | DISTINCT |
精确 | 保存当前查询需要的唯一键 |
| 精确唯一数量 | uniqExact |
精确 | 状态随唯一值数量增长 |
| 通用近似基数 | uniq |
近似 | 状态受控,适合高基数分析 |
| 大基数近似基数 | uniqCombined |
近似 | 组合多种策略,在精度与状态大小间折中 |
用一个查询比较去重口径
下面用同一批数据同时计算行数、精确用户数、两种近似用户数,以及“用户 + 国家”组合的精确基数。组合去重时应明确把哪些列共同定义为一个实体。
WITH src AS
(
SELECT *
FROM values(
'user_id UInt64, country LowCardinality(String)',
(1, 'CN'),
(1, 'CN'),
(2, 'CN'),
(2, 'US'),
(3, 'US'),
(3, 'US'),
(4, 'DE')
)
)
SELECT
count() AS rows,
uniqExact(user_id) AS exact_users,
uniq(user_id) AS approx_users,
uniqCombined(user_id) AS combined_users,
uniqExact(tuple(user_id, country)) AS exact_pairs
FROM src
FORMAT TSVWithNames;预期输出
rows exact_users approx_users combined_users exact_pairs
7 4 4 4 5这个小样本中两种近似函数恰好得到精确值,但这不代表大数据集上没有误差。真正的选择依据应是业务容忍度和高基数状态的资源成本,而不是一次样例结果。
优化时先缩小去重输入
最有效的优化通常发生在去重算子之前。先用 WHERE 尽量缩小输入范围,只把真正决定唯一性的列传给 DISTINCT 或 uniq*,避免把长字符串、JSON 文本等无关负载带进聚合状态。若维度值重复度高且适合建模为 LowCardinality,还可以减少存储与比较开销。
分布式查询还要考虑状态合并。uniqExact 的局部状态会随基数增长,节点越多,协调阶段需要传输和合并的状态也可能越重;近似函数的状态通常更容易控制。对于重复执行的仪表盘指标,可进一步考虑预聚合并保存 uniqState 一类聚合状态,再在查询时合并,而不是每次从明细重新扫描。
用结果语义做最后选择
当查询需要返回唯一明细时,用 DISTINCT;只需要精确基数且规模可控时,用 uniqExact;面向趋势、监控和大盘且允许小幅误差时,优先评估 uniq 或 uniqCombined。压测时同时观察耗时、峰值内存和分布式状态传输,不能只比较最终 SQL 的字符长度。
如果高基数精确去重已经成为查询瓶颈,首先确认指标是否真的要求绝对精确;如果必须精确,就通过过滤、缩窄键、分区裁剪和预聚合减少进入 uniqExact 的数据,而不是把精确函数机械替换成近似函数。