大数据与流处理 / 系统课时

关联事实流与 CDC 维表

关联事实流与 CDC 维表

本节把带事件时间的事实流与数据库 CDC 维表放到同一条 Flink SQL 查询中,目标不是“查到当前维度值”,而是让每条事实记录按自己的发生时间命中当时有效的维度版本,并能验证维度更新前后的关联结果。

学习目标

  • 能为事实流和 CDC 维表声明正确的时间属性与主键
  • 能使用 FOR SYSTEM_TIME AS OF 编写事件时间 Temporal Join
  • 能判断水位线、CDC 历史范围和维表更新时刻对结果的影响

先把两条流的时间语义对齐

事实流通常来自 Kafka 等消息系统,业务字段中应有事件发生时间,并在 Flink 表上声明 rowtime 与 Watermark。CDC 维表则持续接收数据库行的新增、更新和删除,它必须有能够唯一标识维度实体的主键,还需要一个可用于版本排序的时间列。

下例假设 MySQL 表 product_dim 的 updated_at 会在每次业务更新时写入真实更新时间。CDC 作业启动后,Flink 会把同一 product_id 的变更看成连续版本。

sql
CREATE TABLE product_dim (
  product_id BIGINT PRIMARY KEY,
  product_name VARCHAR(100) NOT NULL,
  category VARCHAR(50) NOT NULL,
  price DECIMAL(10, 2) NOT NULL,
  updated_at TIMESTAMP(3) NOT NULL
);

INSERT INTO product_dim
  (product_id, product_name, category, price, updated_at)
VALUES
  (101, 'Mechanical Keyboard', 'peripheral', 399.00, '2026-09-11 09:00:00.000');

SELECT product_id, product_name, price, updated_at
FROM product_dim
WHERE product_id = 101;

预期结果

text
product_id | product_name         | price  | updated_at
101        | Mechanical Keyboard  | 399.00 | 2026-09-11 09:00:00.000

在真实系统中,updated_at 必须由业务写入链路可靠维护;如果它只是导入时间或补数时间,就不能代表维度版本真正生效的时刻。

声明事实流与 CDC 维表

下面的 Flink SQL 使用 Kafka 作为事实源、MySQL CDC 作为维度变更源。连接地址、主题、账号等值需要替换为实际环境参数;CDC 连接器依赖必须与当前 Flink 版本匹配。

sql
CREATE TABLE order_fact (
  order_id STRING,
  product_id BIGINT,
  quantity INT,
  event_time TIMESTAMP(3),
  WATERMARK FOR event_time AS event_time - INTERVAL '5' SECOND
) WITH (
  'connector' = 'kafka',
  'topic' = 'order-fact',
  'properties.bootstrap.servers' = '<HOST>:<PORT>',
  'properties.group.id' = 'order-temporal-join',
  'scan.startup.mode' = 'earliest-offset',
  'format' = 'json'
);

CREATE TABLE product_dim_cdc (
  product_id BIGINT,
  product_name STRING,
  category STRING,
  price DECIMAL(10, 2),
  updated_at TIMESTAMP(3),
  WATERMARK FOR updated_at AS updated_at - INTERVAL '5' SECOND,
  PRIMARY KEY (product_id) NOT ENFORCED
) WITH (
  'connector' = 'mysql-cdc',
  'hostname' = '<HOST>',
  'port' = '<PORT>',
  'username' = '<USER>',
  'password' = '<PASSWORD>',
  'database-name' = 'shop',
  'table-name' = 'product_dim'
);

SHOW TABLES;

预期输出

text
SHOW TABLES 结果应至少包含:
order_fact
product_dim_cdc

生效行为:order_fact.event_time 决定事实记录要查看哪个时间点的维度状态;product_dim_cdc 的主键告诉 Flink 哪些更新属于同一个维度实体。Watermark 控制事件时间推进速度,实际延迟窗口应根据乱序程度设置。

事实流按事件时间选择 CDC 维度历史版本

用事件时间完成 Temporal Join

真正的关联点在 FOR SYSTEM_TIME AS OF o.event_time。它不是普通等值 Join,而是要求右表返回“在该事件时间点有效”的主键版本。假设维表在 09:00 的价格为 399.00,并在 09:15 更新为 429.00,事实流分别包含 09:05 和 09:20 的两笔订单。

sql
SELECT
  o.order_id,
  o.product_id,
  o.quantity,
  o.event_time,
  d.product_name,
  d.category,
  d.price
FROM order_fact AS o
LEFT JOIN product_dim_cdc FOR SYSTEM_TIME AS OF o.event_time AS d
ON o.product_id = d.product_id;

预期输出

text
order_id | product_id | event_time              | product_name        | category   | price
A1001    | 101        | 2026-09-11 09:05:00.000 | Mechanical Keyboard | peripheral | 399.00
A1002    | 101        | 2026-09-11 09:20:00.000 | Mechanical Keyboard | peripheral | 429.00

这里的关键不是订单何时被 Flink 处理,而是 event_time 落在哪个维度版本区间。只要对应历史版本仍在状态中,较晚到达的事实也可以按其事件时间找到正确版本。

验证更新前后的结果

为了验证语义,可以先让订单 A 到达,再更新 MySQL 维表,最后发送事件时间晚于更新时刻的订单 B。维度更新可用下面的 SQL 完成。

sql
UPDATE product_dim
SET price = 429.00,
    updated_at = '2026-09-11 09:15:00.000'
WHERE product_id = 101;

SELECT product_id, price, updated_at
FROM product_dim
WHERE product_id = 101;

预期结果

text
product_id | price  | updated_at
101        | 429.00 | 2026-09-11 09:15:00.000

实际验证时还要观察 Flink 查询输出是否保持 A1001=399.00、A1002=429.00。如果两条事实都拿到 429.00,应优先检查是否误用了处理时间 Lookup Join,或 CDC 表没有形成可按事件时间查询的版本序列。

识别三个边界

第一,CDC 快照只能提供作业启动时可见的当前行状态,不能凭空恢复数据库在作业启动前已经丢失的全部历史版本。若事实事件可能回溯到启动前很久,需要单独建设历史维表或从可追溯变更日志恢复版本。

第二,Watermark 决定何时认为某个事件时间已经完成。设置过小会让正常乱序数据变成迟到数据,设置过大则会增加状态保留时间和结果延迟,应结合消息乱序分布而不是固定照抄数值。

第三,updated_at 必须能代表维度版本的业务生效时间。同一主键若出现错误时间戳、补写旧时间或时钟严重漂移,Temporal Join 仍会按照这个时间序列执行,因此结果会“技术上正确、业务上错误”。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

关联事实流与 CDC 维表

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通