大数据与流处理 / 系统课时

将 CDC 变更建成版本化表

将 CDC 变更建成版本化表

CDC 记录只有在 Flink 中形成“同一主键的一串有序版本”,事件时间时态关联才能查询历史状态。本节把数据库增删改映射成 changelog 动态表,并补齐主键、版本时间与 Watermark,让它具备版本化表所需的语义。

学习目标

  • 理解 CDC changelog 如何形成同一主键的多个历史版本
  • 用主键、版本时间和 Watermark 声明可用于事件时间时态关联的动态表
  • 通过 SQL Client 观察更新前后记录并验证版本链

版本化表不是额外保存一张历史表

CDC 连接器会把数据库变化转换成动态表的变更记录,例如插入、更新前、更新后和删除。PRIMARY KEY 用来说明哪些记录属于同一个实体,版本时间用来排列该实体的历史状态,Watermark 则告诉 Flink 事件时间推进到了哪里。

因此,版本化能力来自“changelog + 主键 + 时间属性”的组合,而不是简单多加一个 updated_at 字段。普通当前值表即使有时间列,如果更新语义或主键不可靠,也不能稳定回答“某个过去时刻是什么值”。

CDC 变更形成版本化表的数据流

建立带主键和版本时间的 CDC 表

下面以 MySQL CDC 为例。假设源表 shop.customers 已有 customer_id 主键,并且 updated_at 能可靠表示每次业务版本的生效时间。<HOST>、<PORT>、<USER>、<PASSWORD> 需要替换为实际连接信息。

sql
CREATE TABLE customers_cdc (
  customer_id BIGINT,
  name STRING,
  level STRING,
  updated_at TIMESTAMP(3),
  WATERMARK FOR updated_at AS updated_at - INTERVAL '5' SECOND,
  PRIMARY KEY (customer_id) NOT ENFORCED
) WITH (
  'connector' = 'mysql-cdc',
  'hostname' = '<HOST>',
  'port' = '<PORT>',
  'username' = '<USER>',
  'password' = '<PASSWORD>',
  'database-name' = 'shop',
  'table-name' = 'customers'
);

预期结果:

text
DDL 执行成功并注册 customers_cdc。
该语句只定义 CDC 动态表,不会直接打印业务数据。

PRIMARY KEY ... NOT ENFORCED 表示 Flink 信任上游主键语义,但不会扫描数据验证唯一性。若同一主键出现互相冲突的并发版本,后续时态关联就可能得到不可预测的版本链。

观察 CDC 的更新前后记录

在 SQL Client 中切换到 changelog 展示模式,然后持续查询一个主键。查询运行期间,在源数据库把 customer_id = 1001 的 level 从 SILVER 更新为 GOLD,并把 updated_at 从 10:00 更新为 10:05。

sql
SET 'sql-client.execution.result-mode' = 'changelog';

SELECT customer_id, level, updated_at
FROM customers_cdc
WHERE customer_id = 1001;

预期输出的关键变化应类似下面三行;实际界面排版可能不同。

text
+I  1001  SILVER  2026-09-11 10:00:00.000
-U  1001  SILVER  2026-09-11 10:00:00.000
+U  1001  GOLD    2026-09-11 10:05:00.000

这里的 -U 与 +U 共同表示一次更新。对版本化表而言,重要的是同一主键在不同版本时间上形成可区分的历史状态;普通 SELECT 展示的是 changelog 流,而不是一张可以直接翻页浏览的“历史快照表”。

接到事件时间时态关联

片段示例:下面假设事实表 orders 已经定义事件时间字段 order_time 和对应 Watermark。时态关联会以每条订单的事件时间,到 customers_cdc 的版本链中选择当时有效的客户版本。

sql
SELECT
  o.order_id,
  o.order_time,
  c.customer_id,
  c.level
FROM orders AS o
LEFT JOIN customers_cdc FOR SYSTEM_TIME AS OF o.order_time AS c
ON o.customer_id = c.customer_id;

预期结果:

text
order_time 早于 2026-09-11 10:05:00 时,customer_id=1001 应命中 SILVER。
order_time 等于或晚于 2026-09-11 10:05:00 且该版本已按事件时间完成时,应命中 GOLD。

如果同一事实时间查不到预期版本,优先检查三件事:CDC 是否真的发出了对应主键的变更、版本时间是否按预期变化、Watermark 是否与数据实际乱序程度匹配。只要这三项语义一致,CDC 动态表就能作为事件时间时态关联的版本化右表使用。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

将 CDC 变更建成版本化表

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通