大数据与流处理 / 系统课时

识别 Insert Update Delete

识别 Insert Update Delete

CDC 流不是简单地把数据库当前值持续复制出去,而是把行级变更转换成带操作语义的事件。本课用一组新增、更新和删除操作观察 Flink CDC 中的变更类型,并明确下游为什么不能把所有事件都当成普通 Insert 处理。

学习目标

  • 区分 Insert、Update、Delete 对应的行级变更语义
  • 理解 Flink changelog 中 +I、-U、+U、-D 的含义
  • 根据下游表的主键和写入能力选择正确处理方式

从三种数据库操作开始

假设 MySQL 中有一张以 id 为主键的商品表。先插入商品,再修改价格,最后删除该行,就能覆盖最基本的 CDC 变化。

sql
CREATE TABLE product (
    id BIGINT PRIMARY KEY,
    name VARCHAR(100) NOT NULL,
    price DECIMAL(10, 2) NOT NULL
);

INSERT INTO product VALUES (101, 'keyboard', 299.00);
UPDATE product SET price = 279.00 WHERE id = 101;
DELETE FROM product WHERE id = 101;

预期结果:三条 DML 均成功执行,最终表中不存在 id = 101 的记录。数据库客户端对受影响行数的具体显示格式可能不同。

text
INSERT: 1 row affected
UPDATE: 1 row affected
DELETE: 1 row affected

CDC 关注的不是最终表为空这一事实,而是中间依次发生了新增、更新和删除。只读取最终快照会丢失这段变化历史。

Flink changelog 怎样表达变化

Flink 的动态表通过 RowKind 表达一行为什么出现。常见标记为 +I 表示 INSERT,-U 表示 UPDATE_BEFORE,+U 表示 UPDATE_AFTER,-D 表示 DELETE。

对于前面的操作,可以把逻辑变化理解为:

text
+I[101, keyboard, 299.00]
-U[101, keyboard, 299.00]
+U[101, keyboard, 279.00]
-D[101, keyboard, 279.00]

这里的更新由旧值和新值共同描述。实际作业是否向某个算子或 Sink 暴露完整的 -U/+U,还取决于查询计划、连接器以及 Sink 所接受的 changelog mode,不能仅凭控制台展示形式推断源数据库没有旧值。

Insert、Update、Delete 到 Flink changelog 的映射

下游不能只做追加写入

如果下游是只能追加的日志或文件,Insert 很自然,但 Update 和 Delete 无法靠再次追加一条当前值来真正修改历史记录。例如把 +U[101, ..., 279.00] 当成新行追加,会同时留下 299 和 279 两个版本;忽略 -D 又会让已删除商品继续存在。

需要维护数据库当前状态时,下游通常应具备基于主键的 upsert 和 delete 能力。Insert 创建键,Update 用新值覆盖同一键,Delete 删除对应键。若目标是审计历史,则可以保留每次变更,但必须同时保存操作类型、事件时间等信息,而不是假装这些记录都是新增。

验证时看操作类型而不只看值

调试 CDC 作业时,应至少检查四件事:Insert 是否产生新增语义,Update 是否正确体现旧值到新值的变化,Delete 是否携带足够的键信息,以及目标端最终状态是否与源表一致。

如果目标是同步当前状态,那么经过前面的三次操作后,下游也应不存在主键 101。只有同时验证事件序列和最终状态,才能发现“更新被重复插入”或“删除被忽略”这类语义错误。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

识别 Insert Update Delete

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通