大数据与流处理 / 系统课时
识别 Insert Update Delete
识别 Insert Update Delete
CDC 流不是简单地把数据库当前值持续复制出去,而是把行级变更转换成带操作语义的事件。本课用一组新增、更新和删除操作观察 Flink CDC 中的变更类型,并明确下游为什么不能把所有事件都当成普通 Insert 处理。
学习目标
- 区分 Insert、Update、Delete 对应的行级变更语义
- 理解 Flink changelog 中
+I、-U、+U、-D的含义 - 根据下游表的主键和写入能力选择正确处理方式
从三种数据库操作开始
假设 MySQL 中有一张以 id 为主键的商品表。先插入商品,再修改价格,最后删除该行,就能覆盖最基本的 CDC 变化。
CREATE TABLE product (
id BIGINT PRIMARY KEY,
name VARCHAR(100) NOT NULL,
price DECIMAL(10, 2) NOT NULL
);
INSERT INTO product VALUES (101, 'keyboard', 299.00);
UPDATE product SET price = 279.00 WHERE id = 101;
DELETE FROM product WHERE id = 101;预期结果:三条 DML 均成功执行,最终表中不存在 id = 101 的记录。数据库客户端对受影响行数的具体显示格式可能不同。
INSERT: 1 row affected
UPDATE: 1 row affected
DELETE: 1 row affectedCDC 关注的不是最终表为空这一事实,而是中间依次发生了新增、更新和删除。只读取最终快照会丢失这段变化历史。
Flink changelog 怎样表达变化
Flink 的动态表通过 RowKind 表达一行为什么出现。常见标记为 +I 表示 INSERT,-U 表示 UPDATE_BEFORE,+U 表示 UPDATE_AFTER,-D 表示 DELETE。
对于前面的操作,可以把逻辑变化理解为:
+I[101, keyboard, 299.00]
-U[101, keyboard, 299.00]
+U[101, keyboard, 279.00]
-D[101, keyboard, 279.00]这里的更新由旧值和新值共同描述。实际作业是否向某个算子或 Sink 暴露完整的 -U/+U,还取决于查询计划、连接器以及 Sink 所接受的 changelog mode,不能仅凭控制台展示形式推断源数据库没有旧值。

下游不能只做追加写入
如果下游是只能追加的日志或文件,Insert 很自然,但 Update 和 Delete 无法靠再次追加一条当前值来真正修改历史记录。例如把 +U[101, ..., 279.00] 当成新行追加,会同时留下 299 和 279 两个版本;忽略 -D 又会让已删除商品继续存在。
需要维护数据库当前状态时,下游通常应具备基于主键的 upsert 和 delete 能力。Insert 创建键,Update 用新值覆盖同一键,Delete 删除对应键。若目标是审计历史,则可以保留每次变更,但必须同时保存操作类型、事件时间等信息,而不是假装这些记录都是新增。
验证时看操作类型而不只看值
调试 CDC 作业时,应至少检查四件事:Insert 是否产生新增语义,Update 是否正确体现旧值到新值的变化,Delete 是否携带足够的键信息,以及目标端最终状态是否与源表一致。
如果目标是同步当前状态,那么经过前面的三次操作后,下游也应不存在主键 101。只有同时验证事件序列和最终状态,才能发现“更新被重复插入”或“删除被忽略”这类语义错误。