大数据与流处理 / 系统课时
将 CDC 变更建成版本化表
将 CDC 变更建成版本化表
CDC 记录只有在 Flink 中形成“同一主键的一串有序版本”,事件时间时态关联才能查询历史状态。本节把数据库增删改映射成 changelog 动态表,并补齐主键、版本时间与 Watermark,让它具备版本化表所需的语义。
学习目标
- 理解 CDC changelog 如何形成同一主键的多个历史版本
- 用主键、版本时间和 Watermark 声明可用于事件时间时态关联的动态表
- 通过 SQL Client 观察更新前后记录并验证版本链
版本化表不是额外保存一张历史表
CDC 连接器会把数据库变化转换成动态表的变更记录,例如插入、更新前、更新后和删除。PRIMARY KEY 用来说明哪些记录属于同一个实体,版本时间用来排列该实体的历史状态,Watermark 则告诉 Flink 事件时间推进到了哪里。
因此,版本化能力来自“changelog + 主键 + 时间属性”的组合,而不是简单多加一个 updated_at 字段。普通当前值表即使有时间列,如果更新语义或主键不可靠,也不能稳定回答“某个过去时刻是什么值”。

建立带主键和版本时间的 CDC 表
下面以 MySQL CDC 为例。假设源表 shop.customers 已有 customer_id 主键,并且 updated_at 能可靠表示每次业务版本的生效时间。<HOST>、<PORT>、<USER>、<PASSWORD> 需要替换为实际连接信息。
CREATE TABLE customers_cdc (
customer_id BIGINT,
name STRING,
level STRING,
updated_at TIMESTAMP(3),
WATERMARK FOR updated_at AS updated_at - INTERVAL '5' SECOND,
PRIMARY KEY (customer_id) NOT ENFORCED
) WITH (
'connector' = 'mysql-cdc',
'hostname' = '<HOST>',
'port' = '<PORT>',
'username' = '<USER>',
'password' = '<PASSWORD>',
'database-name' = 'shop',
'table-name' = 'customers'
);预期结果:
DDL 执行成功并注册 customers_cdc。
该语句只定义 CDC 动态表,不会直接打印业务数据。PRIMARY KEY ... NOT ENFORCED 表示 Flink 信任上游主键语义,但不会扫描数据验证唯一性。若同一主键出现互相冲突的并发版本,后续时态关联就可能得到不可预测的版本链。
观察 CDC 的更新前后记录
在 SQL Client 中切换到 changelog 展示模式,然后持续查询一个主键。查询运行期间,在源数据库把 customer_id = 1001 的 level 从 SILVER 更新为 GOLD,并把 updated_at 从 10:00 更新为 10:05。
SET 'sql-client.execution.result-mode' = 'changelog';
SELECT customer_id, level, updated_at
FROM customers_cdc
WHERE customer_id = 1001;预期输出的关键变化应类似下面三行;实际界面排版可能不同。
+I 1001 SILVER 2026-09-11 10:00:00.000
-U 1001 SILVER 2026-09-11 10:00:00.000
+U 1001 GOLD 2026-09-11 10:05:00.000这里的 -U 与 +U 共同表示一次更新。对版本化表而言,重要的是同一主键在不同版本时间上形成可区分的历史状态;普通 SELECT 展示的是 changelog 流,而不是一张可以直接翻页浏览的“历史快照表”。
接到事件时间时态关联
片段示例:下面假设事实表 orders 已经定义事件时间字段 order_time 和对应 Watermark。时态关联会以每条订单的事件时间,到 customers_cdc 的版本链中选择当时有效的客户版本。
SELECT
o.order_id,
o.order_time,
c.customer_id,
c.level
FROM orders AS o
LEFT JOIN customers_cdc FOR SYSTEM_TIME AS OF o.order_time AS c
ON o.customer_id = c.customer_id;预期结果:
order_time 早于 2026-09-11 10:05:00 时,customer_id=1001 应命中 SILVER。
order_time 等于或晚于 2026-09-11 10:05:00 且该版本已按事件时间完成时,应命中 GOLD。如果同一事实时间查不到预期版本,优先检查三件事:CDC 是否真的发出了对应主键的变更、版本时间是否按预期变化、Watermark 是否与数据实际乱序程度匹配。只要这三项语义一致,CDC 动态表就能作为事件时间时态关联的版本化右表使用。