大数据与流处理 / 系统课时

读取增删改变更消息

读取增删改变更消息

动态表的结果发生变化后,Flink 需要把这种变化编码成可以沿数据流传播的消息。本课聚焦四种基本 RowKind,学会从消息序列还原一行数据经历了新增、更新还是删除。

学习目标

  • 区分 INSERT、UPDATE_BEFORE、UPDATE_AFTER 与 DELETE 的语义
  • 根据消息顺序还原一行结果的状态变化
  • 理解完整更新流与只保留更新后值的 Upsert 形式之间的差异

四种变化类型表示什么

Flink 使用行的变化类型表达动态表如何改变。调试输出中常见的简写分别是 +I、-U、+U 和 -D。

变化类型 常见简写 含义
INSERT +I 原来不存在这行,现在新增一行
UPDATE_BEFORE -U 更新前需要撤回的旧值
UPDATE_AFTER +U 更新完成后应该存在的新值
DELETE -D 删除当前存在的一行

这些类型描述的是动态表发生的变化,而不是四种彼此独立的业务事件。同一行从旧值变成新值时,完整的 Changelog 往往会连续出现 UPDATE_BEFORE 和 UPDATE_AFTER。

一行记录从插入、更新到删除时对应的 Changelog 消息序列

一次更新为什么可能有两条消息

假设动态结果表当前存在一行 id=42, amount=50,之后这行需要变为 id=42, amount=70。如果下游需要知道完整的旧值和新值,那么变化序列可以写成:

顺序 RowKind 行内容 应用后的状态
1 -U id=42, amount=50 撤回旧值
2 +U id=42, amount=70 写入新值

UPDATE_BEFORE 的作用不是表示“又来了一条旧数据”,而是通知下游撤销先前已经成立的结果。紧随其后的 UPDATE_AFTER 再声明新的有效结果。

这种形式尤其适合需要撤回旧贡献的算子。例如聚合结果从 50 变成 70 时,下游如果正在继续计算其他聚合,就可能需要先知道旧值 50 已经失效,再接受新值 70。

从消息序列还原表状态

读取 Changelog 时,最重要的不是分别记住四个标签,而是按顺序应用它们。可以把动态表想成一个会被这些操作持续修改的关系状态。

例如下面的序列都具有明确含义:

消息序列 最终含义
+I(42, 50) 新增一行,当前值为 50
-U(42, 50) → +U(42, 70) 原值 50 被更新为 70
-D(42, 70) 当前值 70 被删除

如果只截取中间一条消息,很容易误判。例如看到 -U 并不意味着这行永久删除,它通常只是一次更新的撤回阶段;是否紧跟新的 +U,必须结合后续消息判断。

为什么有时看不到 UPDATE_BEFORE

完整 Changelog 可以携带更新前后的两份数据,但某些下游并不需要旧值。若结果具有可识别的唯一键,下游可以按键覆盖已有记录,只接收“这个键现在的新值是什么”。这就是常见的 Upsert 思路。

例如键 id=42 已存在时,再收到该键的新值 70,下游可以直接把旧值覆盖为 70,而不必先收到一条携带 50 的撤回消息。具体能够使用哪种 Changelog 模式,取决于查询产生的变化以及上下游算子或连接器能够接受的模式,不能假设所有链路都会固定输出四种消息。

看到消息时先问三个问题

排查流式结果时,可以依次确认:这条消息对应哪个逻辑键、它是在增加还是撤回当前状态、前后是否还有属于同一次更新的消息。这样比只盯着 +I 或 -U 标签更可靠。

对于只追加查询,通常只会看到 INSERT;一旦查询会修改已有结果,就可能出现更新或删除。能够把 +I、-U、+U、-D 还原成动态表状态变化,后续分析聚合、连接以及时态查询产生的结果就有了统一基础。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

读取增删改变更消息

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通