大数据与流处理 / 系统课时
流式 Join
流式 Join
本课解决两条持续输入的数据流如何安全关联。你将比较常规 Join、区间 Join 和窗口 Join,理解它们何时保留或清理状态,并通过可重复 SQL 验证不同时间约束造成的结果差异。
学习目标
- 区分三类流式 Join 的匹配范围
- 理解时间条件如何限制状态生命周期
- 编写区间 Join 与窗口 Join 查询
三类 Join 的状态差异
常规 Join 只声明键条件,例如订单号相等。流任务无法预知未来是否还会出现匹配记录,因此通常需要长期保留两侧状态;若没有业务上限,状态可能持续增长。配置状态保留时间可以控制资源,但过早清理会漏掉晚到匹配。
区间 Join 在键相等之外增加上下界,例如付款时间位于下单后 0 到 10 分钟。时间边界允许引擎在 Watermark 越过可匹配范围后清理状态;流模式下它要求可追加输入和时间属性。窗口 Join 则先把两侧记录分配到窗口,只关联窗口边界相同的记录,并在窗口结束后产生最终结果。:contentReference[oaicite:1]{index=1}

| 类型 | 核心约束 | 状态特征 | 适合场景 |
|---|---|---|---|
| 常规 Join | 连接键 | 可能长期保留 | 维度较小或有明确 TTL 的动态关联 |
| 区间 Join | 连接键与相对时间范围 | 超出时间范围后可清理 | 订单与短时间内支付、请求与响应 |
| 窗口 Join | 连接键与相同窗口边界 | 窗口完成后可清理 | 按同一统计周期关联两条流 |
可重复验证的 SQL
为了让结果稳定,示例使用批模式和有界数据。三条查询的连接条件与流模式一致;迁移到流任务时,应把视图替换为声明事件时间和 Watermark 的源表。
SET 'execution.runtime-mode' = 'batch';
CREATE TEMPORARY VIEW orders AS
SELECT *
FROM (
VALUES
('o1', 'u1', TIMESTAMP '2026-08-04 10:00:00'),
('o2', 'u1', TIMESTAMP '2026-08-04 10:10:00'),
('o3', 'u2', TIMESTAMP '2026-08-04 10:20:00')
) AS T(order_id, user_id, order_time);
CREATE TEMPORARY VIEW payments AS
SELECT *
FROM (
VALUES
('p1', 'o1', TIMESTAMP '2026-08-04 10:03:00'),
('p2', 'o2', TIMESTAMP '2026-08-04 10:18:00'),
('p3', 'o3', TIMESTAMP '2026-08-04 10:40:00')
) AS T(payment_id, order_id, pay_time);
-- 常规 Join:只按订单号匹配
SELECT o.order_id, p.payment_id
FROM orders AS o
JOIN payments AS p
ON o.order_id = p.order_id
ORDER BY o.order_id;
-- 区间 Join:付款必须发生在下单后 0 到 10 分钟
SELECT o.order_id, p.payment_id
FROM orders AS o
JOIN payments AS p
ON o.order_id = p.order_id
AND p.pay_time BETWEEN o.order_time AND o.order_time + INTERVAL '10' MINUTES
ORDER BY o.order_id;
-- 窗口 Join:双方必须落入同一个 15 分钟滚动窗口
SELECT o.order_id, p.payment_id, o.window_start, o.window_end
FROM TABLE(
TUMBLE(TABLE orders, DESCRIPTOR(order_time), INTERVAL '15' MINUTES)
) AS o
JOIN TABLE(
TUMBLE(TABLE payments, DESCRIPTOR(pay_time), INTERVAL '15' MINUTES)
) AS p
ON o.order_id = p.order_id
AND o.window_start = p.window_start
AND o.window_end = p.window_end
ORDER BY o.order_id;预期结果如下:
-- 常规 Join
o1 | p1
o2 | p2
o3 | p3
-- 区间 Join
o1 | p1
o2 | p2
-- 窗口 Join
o1 | p1 | 2026-08-04 10:00:00 | 2026-08-04 10:15:00o3 的付款比下单晚 20 分钟,因此不满足区间 Join。o2 虽然只晚 8 分钟,但订单位于 [10:00, 10:15),付款位于 [10:15, 10:30),所以窗口 Join 不匹配。这说明区间 Join 比较相对时间距离,窗口 Join 比较共同窗口归属。
流模式的时间定义
生产表必须把时间列声明为时间属性。下面是事件时间字段的结构示例;连接器参数应按实际消息系统补齐,因此这是片段示例。
CREATE TABLE orders (
order_id STRING,
user_id STRING,
order_time TIMESTAMP(3),
WATERMARK FOR order_time AS order_time - INTERVAL '5' SECOND
) WITH (
'connector' = '<CONNECTOR>',
'<OPTION_KEY>' = '<OPTION_VALUE>'
);生效后,order_time 可用于区间 Join 或窗口 TVF。验证时应检查执行计划中是否识别到时间属性,并观察 Watermark、Join 状态大小和迟到记录;实际连接器、Topic、路径与并行度值会因环境不同而变化。
选型与风险
业务只关心有限时间内的关联时,优先使用区间 Join,不要用常规 Join 再依赖无限状态。两侧数据天然按同一统计周期结算时,窗口 Join 更容易推导清理时机。只有确实需要未来任意时刻匹配时才使用常规 Join,并明确状态 TTL、迟到上限和数据更新语义。
时间条件必须同时包含连接键,否则可能形成高成本的笛卡尔式匹配。Outer Join 还要考虑“何时确认没有匹配项”:时间边界或窗口结束之前,引擎不能安全输出最终的未匹配结果。