大数据与流处理 / 系统课时
关联事实流与 CDC 维表
关联事实流与 CDC 维表
本节把带事件时间的事实流与数据库 CDC 维表放到同一条 Flink SQL 查询中,目标不是“查到当前维度值”,而是让每条事实记录按自己的发生时间命中当时有效的维度版本,并能验证维度更新前后的关联结果。
学习目标
- 能为事实流和 CDC 维表声明正确的时间属性与主键
- 能使用
FOR SYSTEM_TIME AS OF编写事件时间 Temporal Join - 能判断水位线、CDC 历史范围和维表更新时刻对结果的影响
先把两条流的时间语义对齐
事实流通常来自 Kafka 等消息系统,业务字段中应有事件发生时间,并在 Flink 表上声明 rowtime 与 Watermark。CDC 维表则持续接收数据库行的新增、更新和删除,它必须有能够唯一标识维度实体的主键,还需要一个可用于版本排序的时间列。
下例假设 MySQL 表 product_dim 的 updated_at 会在每次业务更新时写入真实更新时间。CDC 作业启动后,Flink 会把同一 product_id 的变更看成连续版本。
CREATE TABLE product_dim (
product_id BIGINT PRIMARY KEY,
product_name VARCHAR(100) NOT NULL,
category VARCHAR(50) NOT NULL,
price DECIMAL(10, 2) NOT NULL,
updated_at TIMESTAMP(3) NOT NULL
);
INSERT INTO product_dim
(product_id, product_name, category, price, updated_at)
VALUES
(101, 'Mechanical Keyboard', 'peripheral', 399.00, '2026-09-11 09:00:00.000');
SELECT product_id, product_name, price, updated_at
FROM product_dim
WHERE product_id = 101;预期结果
product_id | product_name | price | updated_at
101 | Mechanical Keyboard | 399.00 | 2026-09-11 09:00:00.000在真实系统中,updated_at 必须由业务写入链路可靠维护;如果它只是导入时间或补数时间,就不能代表维度版本真正生效的时刻。
声明事实流与 CDC 维表
下面的 Flink SQL 使用 Kafka 作为事实源、MySQL CDC 作为维度变更源。连接地址、主题、账号等值需要替换为实际环境参数;CDC 连接器依赖必须与当前 Flink 版本匹配。
CREATE TABLE order_fact (
order_id STRING,
product_id BIGINT,
quantity INT,
event_time TIMESTAMP(3),
WATERMARK FOR event_time AS event_time - INTERVAL '5' SECOND
) WITH (
'connector' = 'kafka',
'topic' = 'order-fact',
'properties.bootstrap.servers' = '<HOST>:<PORT>',
'properties.group.id' = 'order-temporal-join',
'scan.startup.mode' = 'earliest-offset',
'format' = 'json'
);
CREATE TABLE product_dim_cdc (
product_id BIGINT,
product_name STRING,
category STRING,
price DECIMAL(10, 2),
updated_at TIMESTAMP(3),
WATERMARK FOR updated_at AS updated_at - INTERVAL '5' SECOND,
PRIMARY KEY (product_id) NOT ENFORCED
) WITH (
'connector' = 'mysql-cdc',
'hostname' = '<HOST>',
'port' = '<PORT>',
'username' = '<USER>',
'password' = '<PASSWORD>',
'database-name' = 'shop',
'table-name' = 'product_dim'
);
SHOW TABLES;预期输出
SHOW TABLES 结果应至少包含:
order_fact
product_dim_cdc生效行为:order_fact.event_time 决定事实记录要查看哪个时间点的维度状态;product_dim_cdc 的主键告诉 Flink 哪些更新属于同一个维度实体。Watermark 控制事件时间推进速度,实际延迟窗口应根据乱序程度设置。

用事件时间完成 Temporal Join
真正的关联点在 FOR SYSTEM_TIME AS OF o.event_time。它不是普通等值 Join,而是要求右表返回“在该事件时间点有效”的主键版本。假设维表在 09:00 的价格为 399.00,并在 09:15 更新为 429.00,事实流分别包含 09:05 和 09:20 的两笔订单。
SELECT
o.order_id,
o.product_id,
o.quantity,
o.event_time,
d.product_name,
d.category,
d.price
FROM order_fact AS o
LEFT JOIN product_dim_cdc FOR SYSTEM_TIME AS OF o.event_time AS d
ON o.product_id = d.product_id;预期输出
order_id | product_id | event_time | product_name | category | price
A1001 | 101 | 2026-09-11 09:05:00.000 | Mechanical Keyboard | peripheral | 399.00
A1002 | 101 | 2026-09-11 09:20:00.000 | Mechanical Keyboard | peripheral | 429.00这里的关键不是订单何时被 Flink 处理,而是 event_time 落在哪个维度版本区间。只要对应历史版本仍在状态中,较晚到达的事实也可以按其事件时间找到正确版本。
验证更新前后的结果
为了验证语义,可以先让订单 A 到达,再更新 MySQL 维表,最后发送事件时间晚于更新时刻的订单 B。维度更新可用下面的 SQL 完成。
UPDATE product_dim
SET price = 429.00,
updated_at = '2026-09-11 09:15:00.000'
WHERE product_id = 101;
SELECT product_id, price, updated_at
FROM product_dim
WHERE product_id = 101;预期结果
product_id | price | updated_at
101 | 429.00 | 2026-09-11 09:15:00.000实际验证时还要观察 Flink 查询输出是否保持 A1001=399.00、A1002=429.00。如果两条事实都拿到 429.00,应优先检查是否误用了处理时间 Lookup Join,或 CDC 表没有形成可按事件时间查询的版本序列。
识别三个边界
第一,CDC 快照只能提供作业启动时可见的当前行状态,不能凭空恢复数据库在作业启动前已经丢失的全部历史版本。若事实事件可能回溯到启动前很久,需要单独建设历史维表或从可追溯变更日志恢复版本。
第二,Watermark 决定何时认为某个事件时间已经完成。设置过小会让正常乱序数据变成迟到数据,设置过大则会增加状态保留时间和结果延迟,应结合消息乱序分布而不是固定照抄数值。
第三,updated_at 必须能代表维度版本的业务生效时间。同一主键若出现错误时间戳、补写旧时间或时钟严重漂移,Temporal Join 仍会按照这个时间序列执行,因此结果会“技术上正确、业务上错误”。