大数据与流处理 / 系统课时
构造版本化维表
构造版本化维表
版本化维表的关键不是把同一主键简单覆盖成“最新值”,而是让 Flink 能依据业务键和版本时间识别某个时刻有效的记录。本篇会用可更新的商品价格维表说明主键、事件时间与变更流如何共同形成可供 Temporal Join 查询的历史视图。
学习目标
- 判断一张动态表是否具备版本化表所需的主键与时间属性
- 用 Flink SQL 定义可更新的版本化维表
- 理解更新记录如何按事件时间形成同一业务键的多个有效版本
版本化表需要同时回答两个问题
普通维表只回答“这个键现在是什么值”,版本化维表还要回答“这个键在某个过去时刻是什么值”。因此至少需要两个维度:业务键用来确定同一个实体,版本时间用来确定该实体的状态从什么时候开始生效。
在 Flink SQL 中,右侧表要作为事件时间 Temporal Join 的版本化表使用,通常需要声明主键,并提供带 Watermark 的时间属性。主键告诉优化器哪些变更属于同一业务实体;时间属性让运行时可以按事件时间组织这些版本。

定义一张可更新的商品价格维表
下面用 upsert-kafka 表示持续到来的价格变更。示例假设 Kafka 已存在主题 product-price-changelog,键和值都使用 JSON;product_id 是业务主键,version_time 是每次价格状态开始生效的事件时间。
CREATE TABLE product_price_versions (
product_id STRING,
price DECIMAL(10, 2),
currency STRING,
version_time TIMESTAMP(3),
WATERMARK FOR version_time AS version_time - INTERVAL '5' SECOND,
PRIMARY KEY (product_id) NOT ENFORCED
) WITH (
'connector' = 'upsert-kafka',
'topic' = 'product-price-changelog',
'properties.bootstrap.servers' = 'localhost:9092',
'key.format' = 'json',
'value.format' = 'json'
);预期结果:DDL 成功注册后,product_price_versions 被视为一张带主键的动态表;后续同一 product_id 的变更会被解释为该业务实体的新状态。NOT ENFORCED 表示 Flink 不负责检查上游是否真的满足唯一性,因此上游必须保证主键语义正确。
更新记录如何形成历史版本
假设同一个商品依次产生两条逻辑变更:P100 在 10:00 的价格为 100.00,10:15 调整为 120.00。对“当前值”查询来说,第二条会替代第一条;但对事件时间 Temporal Join 来说,运行时需要依据 version_time 区分两个生效区间。
| product_id | price | version_time | 对应有效区间 |
|---|---|---|---|
| P100 | 100.00 | 10:00:00 | 10:00 起,直到下一版本生效前 |
| P100 | 120.00 | 10:15:00 | 10:15 起,直到下一版本生效前 |
因此,事实事件发生在 10:12 时应看到 100.00,发生在 10:20 时应看到 120.00。这里的“历史版本”是 Flink 根据变更流和时间属性维护的时态状态,不等同于源系统天然保存了无限期的完整历史;源端保留策略、Watermark 推进和作业状态清理都会影响可查询范围。
最容易破坏版本语义的三类问题
如果没有主键,Flink 无法确定两条更新是否属于同一个业务实体;如果只有普通 TIMESTAMP 而没有时间属性,Temporal Join 就缺少可推进的事件时间语义;如果 version_time 不是业务状态真正生效的时间,而只是写入 Kafka 的时间,历史关联结果也会偏离业务事实。
构造版本化维表时,先确认“谁是同一个实体”,再确认“哪个时间代表版本生效”,最后再选择能持续提供变更记录的连接器。三个条件同时成立,后续的事件时间 Temporal Join 才有可靠的历史语义。