大数据与流处理 / 系统课时
执行事件时间 Temporal Join
执行事件时间 Temporal Join
事件时间 Temporal Join 解决的是“事实发生时,维度当时是什么状态”,而不是拿事实去碰维表当前最新值。本篇用订单与商品价格版本表完成一次历史关联,并重点解释 FOR SYSTEM_TIME AS OF 如何根据事实行的事件时间选择右表版本。
学习目标
- 写出基于事件时间的 Temporal Join SQL
- 判断事实时间会命中维表的哪个历史版本
- 识别主键关联、Watermark 与迟到数据对结果的影响
先准备事实流与版本化维表
下面假设 Kafka 中已有 orders 与 product-price-changelog 两个主题。订单表是追加流,order_time 是订单真实发生时间;价格表以 product_id 为主键,并用 version_time 表示价格版本的生效时间。
CREATE TABLE orders (
order_id STRING,
product_id STRING,
quantity INT,
order_time TIMESTAMP(3),
WATERMARK FOR order_time AS order_time - INTERVAL '5' SECOND
) WITH (
'connector' = 'kafka',
'topic' = 'orders',
'properties.bootstrap.servers' = 'localhost:9092',
'scan.startup.mode' = 'earliest-offset',
'format' = 'json'
);
CREATE TABLE product_price_versions (
product_id STRING,
price DECIMAL(10, 2),
version_time TIMESTAMP(3),
WATERMARK FOR version_time AS version_time - INTERVAL '5' SECOND,
PRIMARY KEY (product_id) NOT ENFORCED
) WITH (
'connector' = 'upsert-kafka',
'topic' = 'product-price-changelog',
'properties.bootstrap.servers' = 'localhost:9092',
'key.format' = 'json',
'value.format' = 'json'
);
SELECT
o.order_id,
o.product_id,
o.order_time,
p.price,
o.quantity * p.price AS amount
FROM orders AS o
LEFT JOIN product_price_versions
FOR SYSTEM_TIME AS OF o.order_time AS p
ON o.product_id = p.product_id;预期结果:查询会持续输出订单及其历史价格。假设 P100 在 10:00 的价格为 100.00、10:15 的价格为 120.00,那么 10:12 的订单会关联 100.00,10:20 的订单会关联 120.00;实际控制台时间格式可能因客户端设置不同。
AS OF 不是“取最新”,而是“取当时最新”
对每一条订单,FOR SYSTEM_TIME AS OF o.order_time 都把左表的 order_time 当成查询时刻。Flink 先用 ON o.product_id = p.product_id 找到同一业务键,再在该键的版本链中选择 生效时间不晚于订单时间的最新版本。

这和普通 Join 的核心差别在于:普通 Join 关心两边当前到达的记录如何匹配,Temporal Join 则把右表当成一条可按时间查询的版本链。事实事件只需要携带自己的事件时间,不必提前知道维表之后是否还会发生更新。
用一组固定时间验证结果
假设价格变更与订单的业务时间如下:
| 类型 | 业务键 | 时间 | 值 |
|---|---|---|---|
| 价格版本 | P100 | 10:00 | 100.00 |
| 订单 O1 | P100 | 10:12 | quantity=2 |
| 价格版本 | P100 | 10:15 | 120.00 |
| 订单 O2 | P100 | 10:20 | quantity=1 |
对应的关联结果应为:
O1 P100 10:12 100.00 200.00
O2 P100 10:20 120.00 120.00预期结果中的关键不是两行出现的先后顺序,而是 O1 必须使用 10:00 版本、O2 必须使用 10:15 版本。若 10:12 的订单关联到了 120.00,说明查询实际上读取了当前值,或者版本时间、事件时间定义有误。
让历史关联成立的边界条件
右表必须具备版本语义,ON 条件也必须覆盖右表主键的等值关联,否则 Flink 无法稳定定位某个业务实体的版本链。左表用于 AS OF 的字段必须是事件时间属性,而不是普通时间戳字面值。
Watermark 决定系统何时认为某个事件时间附近的数据基本到齐。过于激进的 Watermark 会让严重迟到的事实或维表更新错过正确的时态计算窗口;过于保守则会延迟状态清理并增加资源占用。因此,允许乱序程度应依据真实数据延迟分布设置,而不是随意照抄固定值。
验证 Temporal Join 时,最有效的方法不是只看最新一条结果,而是准备两个维表版本和两个跨越版本边界的事实事件。只要早事实命中旧版本、晚事实命中新版本,就能直接确认历史关联是否按预期工作。