大数据与流处理 / 系统课时

流式 Join

流式 Join

本课解决两条持续输入的数据流如何安全关联。你将比较常规 Join、区间 Join 和窗口 Join,理解它们何时保留或清理状态,并通过可重复 SQL 验证不同时间约束造成的结果差异。

学习目标

  • 区分三类流式 Join 的匹配范围
  • 理解时间条件如何限制状态生命周期
  • 编写区间 Join 与窗口 Join 查询

三类 Join 的状态差异

常规 Join 只声明键条件,例如订单号相等。流任务无法预知未来是否还会出现匹配记录,因此通常需要长期保留两侧状态;若没有业务上限,状态可能持续增长。配置状态保留时间可以控制资源,但过早清理会漏掉晚到匹配。

区间 Join 在键相等之外增加上下界,例如付款时间位于下单后 0 到 10 分钟。时间边界允许引擎在 Watermark 越过可匹配范围后清理状态;流模式下它要求可追加输入和时间属性。窗口 Join 则先把两侧记录分配到窗口,只关联窗口边界相同的记录,并在窗口结束后产生最终结果。:contentReference[oaicite:1]{index=1}

常规 Join、区间 Join 与窗口 Join 的状态生命周期

类型 核心约束 状态特征 适合场景
常规 Join 连接键 可能长期保留 维度较小或有明确 TTL 的动态关联
区间 Join 连接键与相对时间范围 超出时间范围后可清理 订单与短时间内支付、请求与响应
窗口 Join 连接键与相同窗口边界 窗口完成后可清理 按同一统计周期关联两条流

可重复验证的 SQL

为了让结果稳定,示例使用批模式和有界数据。三条查询的连接条件与流模式一致;迁移到流任务时,应把视图替换为声明事件时间和 Watermark 的源表。

sql
SET 'execution.runtime-mode' = 'batch';

CREATE TEMPORARY VIEW orders AS
SELECT *
FROM (
    VALUES
        ('o1', 'u1', TIMESTAMP '2026-08-04 10:00:00'),
        ('o2', 'u1', TIMESTAMP '2026-08-04 10:10:00'),
        ('o3', 'u2', TIMESTAMP '2026-08-04 10:20:00')
) AS T(order_id, user_id, order_time);

CREATE TEMPORARY VIEW payments AS
SELECT *
FROM (
    VALUES
        ('p1', 'o1', TIMESTAMP '2026-08-04 10:03:00'),
        ('p2', 'o2', TIMESTAMP '2026-08-04 10:18:00'),
        ('p3', 'o3', TIMESTAMP '2026-08-04 10:40:00')
) AS T(payment_id, order_id, pay_time);

-- 常规 Join:只按订单号匹配
SELECT o.order_id, p.payment_id
FROM orders AS o
JOIN payments AS p
ON o.order_id = p.order_id
ORDER BY o.order_id;

-- 区间 Join:付款必须发生在下单后 0 到 10 分钟
SELECT o.order_id, p.payment_id
FROM orders AS o
JOIN payments AS p
ON o.order_id = p.order_id
AND p.pay_time BETWEEN o.order_time AND o.order_time + INTERVAL '10' MINUTES
ORDER BY o.order_id;

-- 窗口 Join:双方必须落入同一个 15 分钟滚动窗口
SELECT o.order_id, p.payment_id, o.window_start, o.window_end
FROM TABLE(
    TUMBLE(TABLE orders, DESCRIPTOR(order_time), INTERVAL '15' MINUTES)
) AS o
JOIN TABLE(
    TUMBLE(TABLE payments, DESCRIPTOR(pay_time), INTERVAL '15' MINUTES)
) AS p
ON o.order_id = p.order_id
AND o.window_start = p.window_start
AND o.window_end = p.window_end
ORDER BY o.order_id;

预期结果如下:

text
-- 常规 Join
o1 | p1
o2 | p2
o3 | p3

-- 区间 Join
o1 | p1
o2 | p2

-- 窗口 Join
o1 | p1 | 2026-08-04 10:00:00 | 2026-08-04 10:15:00

o3 的付款比下单晚 20 分钟,因此不满足区间 Join。o2 虽然只晚 8 分钟,但订单位于 [10:00, 10:15),付款位于 [10:15, 10:30),所以窗口 Join 不匹配。这说明区间 Join 比较相对时间距离,窗口 Join 比较共同窗口归属。

流模式的时间定义

生产表必须把时间列声明为时间属性。下面是事件时间字段的结构示例;连接器参数应按实际消息系统补齐,因此这是片段示例。

sql
CREATE TABLE orders (
    order_id STRING,
    user_id STRING,
    order_time TIMESTAMP(3),
    WATERMARK FOR order_time AS order_time - INTERVAL '5' SECOND
) WITH (
    'connector' = '<CONNECTOR>',
    '<OPTION_KEY>' = '<OPTION_VALUE>'
);

生效后,order_time 可用于区间 Join 或窗口 TVF。验证时应检查执行计划中是否识别到时间属性,并观察 Watermark、Join 状态大小和迟到记录;实际连接器、Topic、路径与并行度值会因环境不同而变化。

选型与风险

业务只关心有限时间内的关联时,优先使用区间 Join,不要用常规 Join 再依赖无限状态。两侧数据天然按同一统计周期结算时,窗口 Join 更容易推导清理时机。只有确实需要未来任意时刻匹配时才使用常规 Join,并明确状态 TTL、迟到上限和数据更新语义。

时间条件必须同时包含连接键,否则可能形成高成本的笛卡尔式匹配。Outer Join 还要考虑“何时确认没有匹配项”:时间边界或窗口结束之前,引擎不能安全输出最终的未匹配结果。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

流式 Join

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通