大数据与流处理 / 系统课时

处理 Update 前后值

处理 Update 前后值

Update 是 CDC 写入下游时最容易被误判的事件:一次 SQL 更新既涉及修改前的行,也涉及修改后的行;如果主键本身发生变化,还不能简单覆盖新值。本课从 before/after 关系出发,确定普通字段更新与主键更新应怎样落到下游。

学习目标

  • 理解 Update 前值和后值分别承担什么作用
  • 区分普通字段变化与主键变化的下游处理方式
  • 避免因忽略旧主键而在目标端留下脏数据

Update 为什么需要前后两个版本

假设源表存在商品 id = 101,随后修改价格。更新前的行用于描述被撤回的旧状态,更新后的行用于描述应建立的新状态。

sql
UPDATE product
SET price = 259.00
WHERE id = 101;

预期结果:如果 101 对应的行存在且原价格不同,则更新一行;数据库客户端的具体提示格式可能不同。

text
1 row affected

在 Flink changelog 语义中,这类变化可以表示为一对记录:

text
-U[101, keyboard, 279.00]
+U[101, keyboard, 259.00]

-U 撤回旧行,+U 建立新行。对于以 id 为键维护当前状态的目标表,两个版本的主键相同,因此最终效果可以表现为对键 101 的一次覆盖更新。

普通字段变化只需保持同一个键

当 name、price 等非主键字段变化,而主键没有变化时,下游的核心任务是让同一个键对应最新值。支持 upsert 的 Sink 可以根据主键覆盖旧记录;支持 retract changelog 的算子则可以利用 UPDATE_BEFORE 撤回旧结果,再接收 UPDATE_AFTER。

不能假设所有 Sink 都接受相同的 changelog。设计写入链路时,应确认目标连接器要求的是 append、upsert 还是更完整的 retract 语义,并让查询产生它能够消费的变更类型。

主键变化不是普通覆盖

如果把主键从 101 改为 201,前后两行的身份键已经不同:旧键 101 必须消失,新键 201 必须出现。仅按 after 数据执行一次 upsert 会创建 201,却可能把 101 永久留在下游。

sql
UPDATE product
SET id = 201
WHERE id = 101;

预期结果:在目标主键 201 不冲突且源行 101 存在时更新一行,最终源表使用新主键 201。

text
1 row affected

从状态同步角度看,正确处理可以概括为“撤销旧键,再写入新键”。底层 CDC 格式、Flink 内部 changelog 与具体 Sink 的物理消息形式可能不同,但最终状态必须满足这一约束。

Update 前后值与主键变化的处理分支

before 还有哪些实际用途

before 不只是为了删除旧主键。需要计算变化量、维护聚合结果或记录审计历史时,也必须知道旧值。例如库存从 20 改为 17,只有同时知道 before=20 和 after=17,才能直接解释变化量是 -3。

但业务代码不应无条件假设任何 CDC 来源都能提供完整 before 镜像。源数据库日志配置、CDC 格式以及连接器能力都会影响可获得的数据,因此上线前应通过真实更新操作验证事件内容,而不是只检查 Insert 能否同步。

用最终状态验证更新语义

验证普通字段更新时,应确认目标端仍只有一个相同主键,并且字段已经变为 after 值。验证主键更新时,则同时检查旧键不存在、新键存在,而且没有重复记录。

这套判断比死记某种 CDC JSON 字段更可靠:before 描述需要撤销的状态,after 描述需要建立的状态;键不变时可以更新同一实体,键变化时必须同时处理旧键和新键。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

处理 Update 前后值

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通