大数据与流处理 / 系统课时

构造版本化维表

构造版本化维表

版本化维表的关键不是把同一主键简单覆盖成“最新值”,而是让 Flink 能依据业务键和版本时间识别某个时刻有效的记录。本篇会用可更新的商品价格维表说明主键、事件时间与变更流如何共同形成可供 Temporal Join 查询的历史视图。

学习目标

  • 判断一张动态表是否具备版本化表所需的主键与时间属性
  • 用 Flink SQL 定义可更新的版本化维表
  • 理解更新记录如何按事件时间形成同一业务键的多个有效版本

版本化表需要同时回答两个问题

普通维表只回答“这个键现在是什么值”,版本化维表还要回答“这个键在某个过去时刻是什么值”。因此至少需要两个维度:业务键用来确定同一个实体,版本时间用来确定该实体的状态从什么时候开始生效。

在 Flink SQL 中,右侧表要作为事件时间 Temporal Join 的版本化表使用,通常需要声明主键,并提供带 Watermark 的时间属性。主键告诉优化器哪些变更属于同一业务实体;时间属性让运行时可以按事件时间组织这些版本。

版本化维表中业务键与版本时间共同确定历史版本

定义一张可更新的商品价格维表

下面用 upsert-kafka 表示持续到来的价格变更。示例假设 Kafka 已存在主题 product-price-changelog,键和值都使用 JSON;product_id 是业务主键,version_time 是每次价格状态开始生效的事件时间。

sql
CREATE TABLE product_price_versions (
    product_id STRING,
    price DECIMAL(10, 2),
    currency STRING,
    version_time TIMESTAMP(3),
    WATERMARK FOR version_time AS version_time - INTERVAL '5' SECOND,
    PRIMARY KEY (product_id) NOT ENFORCED
) WITH (
    'connector' = 'upsert-kafka',
    'topic' = 'product-price-changelog',
    'properties.bootstrap.servers' = 'localhost:9092',
    'key.format' = 'json',
    'value.format' = 'json'
);

预期结果:DDL 成功注册后,product_price_versions 被视为一张带主键的动态表;后续同一 product_id 的变更会被解释为该业务实体的新状态。NOT ENFORCED 表示 Flink 不负责检查上游是否真的满足唯一性,因此上游必须保证主键语义正确。

更新记录如何形成历史版本

假设同一个商品依次产生两条逻辑变更:P100 在 10:00 的价格为 100.00,10:15 调整为 120.00。对“当前值”查询来说,第二条会替代第一条;但对事件时间 Temporal Join 来说,运行时需要依据 version_time 区分两个生效区间。

product_id price version_time 对应有效区间
P100 100.00 10:00:00 10:00 起,直到下一版本生效前
P100 120.00 10:15:00 10:15 起,直到下一版本生效前

因此,事实事件发生在 10:12 时应看到 100.00,发生在 10:20 时应看到 120.00。这里的“历史版本”是 Flink 根据变更流和时间属性维护的时态状态,不等同于源系统天然保存了无限期的完整历史;源端保留策略、Watermark 推进和作业状态清理都会影响可查询范围。

最容易破坏版本语义的三类问题

如果没有主键,Flink 无法确定两条更新是否属于同一个业务实体;如果只有普通 TIMESTAMP 而没有时间属性,Temporal Join 就缺少可推进的事件时间语义;如果 version_time 不是业务状态真正生效的时间,而只是写入 Kafka 的时间,历史关联结果也会偏离业务事实。

构造版本化维表时,先确认“谁是同一个实体”,再确认“哪个时间代表版本生效”,最后再选择能持续提供变更记录的连接器。三个条件同时成立,后续的事件时间 Temporal Join 才有可靠的历史语义。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

构造版本化维表

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通