大数据与流处理 / 系统课时
执行处理时间 Lookup Join
执行处理时间 Lookup Join
本课把处理时间 Lookup Join 落到一条可执行 SQL 上:事实流到达时,Flink 以当前处理时间去外部维表查键值并拼接结果。完成后,你能验证维表更新只影响后续到达的数据,并准确说清它与按事件时间查历史版本的差别。
学习目标
- 用处理时间属性和 Lookup 维表写出 Temporal Lookup Join。
- 通过修改外部维表验证“按到达时刻查当前值”的语义。
- 识别外部依赖、缓存和历史一致性方面的关键边界。
Lookup Join 查的是到达时的当前值
处理时间 Lookup Join 的事实侧需要处理时间属性,例如 proc_time AS PROCTIME();维表侧则必须由支持 Lookup 的连接器提供。每条事实记录进入关联算子时,Flink 以关联键去外部系统查询当时可见的维度值,而不是根据事实记录携带的业务时间回到过去。

这意味着同一个 customer_id 在不同处理时刻到达,可能得到不同维度值。已经输出的旧结果不会因为外部维表后来更新而自动重算。
准备事实流和外部维表
下面以 SQL Client 已加载 DataGen、JDBC 连接器以及 MySQL JDBC Driver 为前提。先在 MySQL 中准备一张可被点查的维表。
CREATE TABLE customer_dim (
customer_id BIGINT PRIMARY KEY,
customer_name VARCHAR(64) NOT NULL,
level VARCHAR(32) NOT NULL
);
INSERT INTO customer_dim (customer_id, customer_name, level) VALUES
(1, 'Alice', 'gold'),
(2, 'Bob', 'silver'),
(3, 'Carol', 'bronze');
SELECT customer_id, customer_name, level
FROM customer_dim
ORDER BY customer_id;预期结果:
customer_id | customer_name | level
1 | Alice | gold
2 | Bob | silver
3 | Carol | bronze在 Flink SQL 中定义持续产生订单的事实表,并把 JDBC 表声明为 Lookup 维表。<HOST>、<USER>、<PASSWORD> 请替换为实际连接信息。
CREATE TABLE orders (
order_id BIGINT,
customer_id BIGINT,
proc_time AS PROCTIME()
) WITH (
'connector' = 'datagen',
'rows-per-second' = '1',
'fields.order_id.kind' = 'random',
'fields.order_id.min' = '1000',
'fields.order_id.max' = '9999',
'fields.customer_id.kind' = 'random',
'fields.customer_id.min' = '1',
'fields.customer_id.max' = '3'
);
CREATE TABLE customer_dim_lookup (
customer_id BIGINT,
customer_name STRING,
level STRING,
PRIMARY KEY (customer_id) NOT ENFORCED
) WITH (
'connector' = 'jdbc',
'url' = 'jdbc:mysql://<HOST>:3306/demo',
'table-name' = 'customer_dim',
'username' = '<USER>',
'password' = '<PASSWORD>'
);
SELECT
o.order_id,
o.customer_id,
c.customer_name,
c.level
FROM orders AS o
LEFT JOIN customer_dim_lookup FOR SYSTEM_TIME AS OF o.proc_time AS c
ON o.customer_id = c.customer_id;预期结果会持续产生,订单号和出现顺序属于动态值;当 customer_id = 1 时,当前维表值应为 Alice / gold。
order_id | customer_id | customer_name | level
<ID> | 1 | Alice | gold
<ID> | 2 | Bob | silver
<ID> | 3 | Carol | bronze关键语法是 FOR SYSTEM_TIME AS OF o.proc_time。这里的 proc_time 必须是处理时间属性,它表达的是“这条事实记录被处理时去查维表”,不是“按某个普通时间戳字段查询”。
修改维表验证处理时间语义
保持 Flink 查询运行,在 MySQL 中把 Alice 的等级改成 platinum。
UPDATE customer_dim
SET level = 'platinum'
WHERE customer_id = 1;
SELECT customer_id, customer_name, level
FROM customer_dim
WHERE customer_id = 1;预期结果:
customer_id | customer_name | level
1 | Alice | platinum后续再有 customer_id = 1 的订单到达时,若未被 Lookup 缓存遮蔽,应看到新值:
order_id | customer_id | customer_name | level
<ID> | 1 | Alice | platinum如果连接器启用了 Lookup 缓存,外部表已经更新但结果仍短暂显示旧值并不矛盾;此时数据新鲜度由缓存策略共同决定。验证“当前值”语义时,应确认缓存是否启用以及其过期时间。
与事件时间历史关联的边界
Lookup Join 适合“用事实到达时的最新维度补充数据”,例如补全当前客户等级、当前地区信息或当前商品属性。它把维度存储和查询压力放在外部系统上,Flink 侧通常不必保存完整维度版本历史,但会引入网络延迟、外部服务可用性和缓存一致性问题。
如果业务要求重放旧事件时仍得到“事件发生当时”的客户等级,就不能仅靠处理时间 Lookup Join。那类需求需要事件时间 Temporal Join,让事实侧用事件时间去匹配版本化维表中的历史版本。