大数据与流处理 / 系统课时

执行事件时间 Temporal Join

执行事件时间 Temporal Join

事件时间 Temporal Join 解决的是“事实发生时,维度当时是什么状态”,而不是拿事实去碰维表当前最新值。本篇用订单与商品价格版本表完成一次历史关联,并重点解释 FOR SYSTEM_TIME AS OF 如何根据事实行的事件时间选择右表版本。

学习目标

  • 写出基于事件时间的 Temporal Join SQL
  • 判断事实时间会命中维表的哪个历史版本
  • 识别主键关联、Watermark 与迟到数据对结果的影响

先准备事实流与版本化维表

下面假设 Kafka 中已有 orders 与 product-price-changelog 两个主题。订单表是追加流,order_time 是订单真实发生时间;价格表以 product_id 为主键,并用 version_time 表示价格版本的生效时间。

sql
CREATE TABLE orders (
    order_id STRING,
    product_id STRING,
    quantity INT,
    order_time TIMESTAMP(3),
    WATERMARK FOR order_time AS order_time - INTERVAL '5' SECOND
) WITH (
    'connector' = 'kafka',
    'topic' = 'orders',
    'properties.bootstrap.servers' = 'localhost:9092',
    'scan.startup.mode' = 'earliest-offset',
    'format' = 'json'
);

CREATE TABLE product_price_versions (
    product_id STRING,
    price DECIMAL(10, 2),
    version_time TIMESTAMP(3),
    WATERMARK FOR version_time AS version_time - INTERVAL '5' SECOND,
    PRIMARY KEY (product_id) NOT ENFORCED
) WITH (
    'connector' = 'upsert-kafka',
    'topic' = 'product-price-changelog',
    'properties.bootstrap.servers' = 'localhost:9092',
    'key.format' = 'json',
    'value.format' = 'json'
);

SELECT
    o.order_id,
    o.product_id,
    o.order_time,
    p.price,
    o.quantity * p.price AS amount
FROM orders AS o
LEFT JOIN product_price_versions
    FOR SYSTEM_TIME AS OF o.order_time AS p
ON o.product_id = p.product_id;

预期结果:查询会持续输出订单及其历史价格。假设 P100 在 10:00 的价格为 100.00、10:15 的价格为 120.00,那么 10:12 的订单会关联 100.00,10:20 的订单会关联 120.00;实际控制台时间格式可能因客户端设置不同。

AS OF 不是“取最新”,而是“取当时最新”

对每一条订单,FOR SYSTEM_TIME AS OF o.order_time 都把左表的 order_time 当成查询时刻。Flink 先用 ON o.product_id = p.product_id 找到同一业务键,再在该键的版本链中选择 生效时间不晚于订单时间的最新版本。

事实事件按事件时间选择维表历史版本

这和普通 Join 的核心差别在于:普通 Join 关心两边当前到达的记录如何匹配,Temporal Join 则把右表当成一条可按时间查询的版本链。事实事件只需要携带自己的事件时间,不必提前知道维表之后是否还会发生更新。

用一组固定时间验证结果

假设价格变更与订单的业务时间如下:

类型 业务键 时间 值
价格版本 P100 10:00 100.00
订单 O1 P100 10:12 quantity=2
价格版本 P100 10:15 120.00
订单 O2 P100 10:20 quantity=1

对应的关联结果应为:

text
O1  P100  10:12  100.00  200.00
O2  P100  10:20  120.00  120.00

预期结果中的关键不是两行出现的先后顺序,而是 O1 必须使用 10:00 版本、O2 必须使用 10:15 版本。若 10:12 的订单关联到了 120.00,说明查询实际上读取了当前值,或者版本时间、事件时间定义有误。

让历史关联成立的边界条件

右表必须具备版本语义,ON 条件也必须覆盖右表主键的等值关联,否则 Flink 无法稳定定位某个业务实体的版本链。左表用于 AS OF 的字段必须是事件时间属性,而不是普通时间戳字面值。

Watermark 决定系统何时认为某个事件时间附近的数据基本到齐。过于激进的 Watermark 会让严重迟到的事实或维表更新错过正确的时态计算窗口;过于保守则会延迟状态清理并增加资源占用。因此,允许乱序程度应依据真实数据延迟分布设置,而不是随意照抄固定值。

验证 Temporal Join 时,最有效的方法不是只看最新一条结果,而是准备两个维表版本和两个跨越版本边界的事实事件。只要早事实命中旧版本、晚事实命中新版本,就能直接确认历史关联是否按预期工作。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

执行事件时间 Temporal Join

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通