大数据与流处理 / 系统课时

优化分布式 JOIN

优化分布式 JOIN

分布式 JOIN 的关键不是先挑某个 join_algorithm,而是先回答“同一个连接键的两侧数据在哪里相遇”。如果数据已经共置,应尽量本地连接;如果右侧足够小,可以广播;如果两边都很大且长期跨分片,就需要调整分片或数据模型,而不是用参数掩盖网络放大。

学习目标

  • 判断本地 JOIN、GLOBAL JOIN 与普通跨分片 JOIN 的数据移动方式
  • 根据右表规模和数据共置关系选择合适策略
  • 识别需要改分片键、字典或宽表模型的场景

先判断连接键能否在本地相遇

JOIN 要得到完整结果,同一连接键的左右记录必须在某个执行节点相遇。若事实表和维度表都按 user_id 使用兼容的分片规则,并且每个分片拥有对应的本地表,那么查询可以在各分片完成本地 JOIN,最后只回传 JOIN 后的结果。

这条路径通常最省网络,因为不需要把大表在集群中重新搬运。反过来,如果两张大表使用不同分片键,同一个 user_id 可能分别落在不同节点,本地 JOIN 就会漏掉匹配;此时强行使用“local”语义不是优化,而是改变结果。

ClickHouse 分布式 JOIN 的本地、GLOBAL 与跨分片数据流对比

共置时优先做本地 JOIN

对于大事实表之间的稳定关联,最优先考虑让 JOIN 键参与两边的分片规则。这样每个分片只读取自己的左右数据,构建本地连接结构,再把结果交给上层处理。

distributed_product_mode = 'local' 可以让某些双分布式 IN/JOIN 子查询在目标分片上改用对应本地表执行,但它不会替你重新分布数据。只有两边分片拓扑一致、连接键确实共置时,这种语义才安全;否则可能得到不完整结果。

右表足够小时使用 GLOBAL

GLOBAL JOIN 的思路是先在发起节点计算右侧子查询,把结果形成临时数据集,然后发送给参与左表扫描的远端节点。这样每个分片都拿到同一份右表副本,可以在本地与自己的事实数据连接,避免每个分片再次向整个集群查询右侧。

片段示例:假设 events_dist 是大事实表,users_dist 是分布式用户表,且右表包含 user_id、plan、is_active、updated_at。活跃用户经过过滤并按用户收敛到一行后规模较小。

sql
SELECT
    e.event_date,
    u.plan,
    count() AS event_count
FROM events_dist AS e
GLOBAL ANY LEFT JOIN
(
    SELECT
        user_id,
        argMax(plan, updated_at) AS plan
    FROM users_dist
    WHERE is_active = 1
    GROUP BY user_id
) AS u ON e.user_id = u.user_id
WHERE e.event_date = '2026-08-31'
GROUP BY
    e.event_date,
    u.plan
ORDER BY event_count DESC;

预期结果:每个事实分片使用同一份已过滤右侧数据完成 JOIN,最终得到按套餐汇总的事件数;具体值取决于数据。

text
2026-08-31    <PLAN_1>    <VALUE>
2026-08-31    <PLAN_2>    <VALUE>
...

GLOBAL 并不意味着“更省资源”。右侧结果会被复制到多个远端节点,所以应尽量提前过滤、只投影 JOIN 所需列,并按业务语义去重。右侧从较小维度增长为大结果集后,广播流量和每个节点构建连接结构的内存会同时放大。

两边都大时先改模型

当左右两边都很大、又无法按 JOIN 键共置时,继续调 max_bytes_in_join 或切换 hash、grace_hash 只能改变单节点 JOIN 的内存与落盘方式,不能消除跨分片的数据移动。此时应优先考虑更结构性的方案。

  • 高频稳定维度:在写入事实表时冗余需要的属性,减少查询时 JOIN
  • 小型键值维度:评估 Dictionary 或适合的直接查找结构,让右侧变成按键 lookup
  • 两张大事实表长期关联:让两边按主要 JOIN 键使用兼容分片规则,或预先生成面向查询的中间表
  • 只有少量查询需要跨域关联:先过滤、聚合或预计算,把 JOIN 输入缩小后再连接

较新的多阶段分布式执行能力可以在执行阶段重分区中间数据,让大型 JOIN 不再完全依赖传统广播或单点汇聚,但它仍然要支付 shuffle 成本。无论执行器多智能,长期高频的大表 JOIN 仍应从数据位置入手:能共置就共置,能缩小右侧就先缩小,持续跨分片放大的查询则回到模型层解决。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

优化分布式 JOIN

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通