大数据与流处理 / 系统课时

优化 DISTINCT 与去重计算

优化 DISTINCT 与去重计算

去重优化的关键不是把 DISTINCT 换成某个函数,而是先确认你要的是“唯一行”还是“唯一数量”,再按精度要求控制聚合状态规模。选对方法后,通常能同时降低内存、网络传输和聚合合并成本。

学习目标

  • 区分 DISTINCT、uniqExact 与近似去重函数解决的问题
  • 根据基数、精度和查询频率选择合适的去重方式
  • 通过减少输入列、提前过滤和复用聚合状态降低执行成本

先区分唯一行与唯一数量

SELECT DISTINCT a, b 返回去重后的 (a, b) 行集合,适合需要继续展示或下游处理唯一值的场景。它的成本与参与去重的列宽、输入行数和组合基数有关,因此把无关列一起放进 DISTINCT 会直接扩大状态。

如果最终只需要一个基数值,就没有必要先产出唯一行再 count()。ClickHouse 提供了多种 uniq* 聚合函数,可以直接维护去重状态并返回数量。精确与近似方案的主要差别不是 SQL 写法,而是状态是否必须记住全部唯一值。

需求 推荐方式 精度 状态特征
返回唯一行 DISTINCT 精确 保存当前查询需要的唯一键
精确唯一数量 uniqExact 精确 状态随唯一值数量增长
通用近似基数 uniq 近似 状态受控,适合高基数分析
大基数近似基数 uniqCombined 近似 组合多种策略,在精度与状态大小间折中

用一个查询比较去重口径

下面用同一批数据同时计算行数、精确用户数、两种近似用户数,以及“用户 + 国家”组合的精确基数。组合去重时应明确把哪些列共同定义为一个实体。

sql
WITH src AS
(
    SELECT *
    FROM values(
        'user_id UInt64, country LowCardinality(String)',
        (1, 'CN'),
        (1, 'CN'),
        (2, 'CN'),
        (2, 'US'),
        (3, 'US'),
        (3, 'US'),
        (4, 'DE')
    )
)
SELECT
    count() AS rows,
    uniqExact(user_id) AS exact_users,
    uniq(user_id) AS approx_users,
    uniqCombined(user_id) AS combined_users,
    uniqExact(tuple(user_id, country)) AS exact_pairs
FROM src
FORMAT TSVWithNames;

预期输出

text
rows	exact_users	approx_users	combined_users	exact_pairs
7	4	4	4	5

这个小样本中两种近似函数恰好得到精确值,但这不代表大数据集上没有误差。真正的选择依据应是业务容忍度和高基数状态的资源成本,而不是一次样例结果。

优化时先缩小去重输入

最有效的优化通常发生在去重算子之前。先用 WHERE 尽量缩小输入范围,只把真正决定唯一性的列传给 DISTINCT 或 uniq*,避免把长字符串、JSON 文本等无关负载带进聚合状态。若维度值重复度高且适合建模为 LowCardinality,还可以减少存储与比较开销。

分布式查询还要考虑状态合并。uniqExact 的局部状态会随基数增长,节点越多,协调阶段需要传输和合并的状态也可能越重;近似函数的状态通常更容易控制。对于重复执行的仪表盘指标,可进一步考虑预聚合并保存 uniqState 一类聚合状态,再在查询时合并,而不是每次从明细重新扫描。

用结果语义做最后选择

当查询需要返回唯一明细时,用 DISTINCT;只需要精确基数且规模可控时,用 uniqExact;面向趋势、监控和大盘且允许小幅误差时,优先评估 uniq 或 uniqCombined。压测时同时观察耗时、峰值内存和分布式状态传输,不能只比较最终 SQL 的字符长度。

如果高基数精确去重已经成为查询瓶颈,首先确认指标是否真的要求绝对精确;如果必须精确,就通过过滤、缩窄键、分区裁剪和预聚合减少进入 uniqExact 的数据,而不是把精确函数机械替换成近似函数。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

优化 DISTINCT 与去重计算

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通