大数据与流处理 / 系统课时

选择兼容更新语义的 Sink

选择兼容更新语义的 Sink

流式 SQL 查询的结果不总是“追加一行就结束”。聚合、去重或部分 Join 会持续修正已有结果。本篇用 Changelog 判断 Sink 能否接住这些修正,并建立从查询语义到目标系统写入能力的选择方法。

学习目标

  • 根据 SQL 结果识别 INSERT、UPDATE_BEFORE、UPDATE_AFTER、DELETE 等变更类型。
  • 解释只支持追加写入的 Sink 为什么无法消费更新结果。
  • 按 Changelog、主键与目标系统写入模型选择合适的 Sink。

先看查询会产生什么 Changelog

Flink SQL 把持续变化的结果表编码成 Changelog。简单过滤和投影通常只新增行;持续分组聚合会在同一个分组值变化时撤回旧结果并写入新结果;去重、Join 或 CDC 链路还可能产生删除。

行类型 常见短标记 含义
INSERT +I 新增一行
UPDATE_BEFORE -U 更新前的旧值被撤回
UPDATE_AFTER +U 写入更新后的新值
DELETE -D 删除已有行

查询 Changelog 与 Sink 能力的匹配关系

因此,“能写入某种格式”不等于“能消费某种变更”。真正需要匹配的是上游查询的 Changelog 模式与 Sink 声明接受的行类型。

用 Print Sink 看见更新

下面的 SQL 可在 Flink SQL Client 中运行。它强制使用流模式,并用内置 Print Sink 观察持续分组聚合产生的更新;sink.parallelism = '1' 让输出不带并行子任务前缀。

sql
SET 'execution.runtime-mode' = 'streaming';

-- 固定输入顺序,便于观察同一分组的连续更新。
CREATE TEMPORARY VIEW orders(user_id, amount) AS VALUES
  (1, 10),
  (1, 15),
  (2, 7),
  (1, 5);

-- 单并行度 Print Sink 便于直接读取 RowKind。
CREATE TEMPORARY TABLE changelog_out (
  user_id INT,
  order_count BIGINT
) WITH (
  'connector' = 'print',
  'sink.parallelism' = '1'
);

-- COUNT 会持续修正同一 user_id 的聚合结果。
INSERT INTO changelog_out
SELECT user_id, COUNT(*) AS order_count
FROM orders
GROUP BY user_id;

预期输出(不同分组之间的打印先后可能不同,但同一分组会体现撤回与更新):

text
+I(1,1)
-U(1,1)
+U(1,2)
+I(2,1)
-U(1,2)
+U(1,3)

这里的关键不是最终计数,而是 -U 与 +U。它们说明结果表中的 user_id = 1 被原地修正过,因此下游如果只能追加 +I,就无法表达“旧值失效、新值生效”。

为什么 append-only Sink 会拒绝更新

规划作业时,Flink 会让查询所需的 Changelog 与 Sink 可接受的 Changelog 对齐。若查询必须发送更新或删除,而 Sink 只接受 INSERT,这个矛盾通常会在作业提交或规划阶段直接暴露,而不是等数据写坏后再发现。

因此,文件归档、只追加日志这类目标更适合本身就是 append-only 的查询;持续聚合结果则通常需要能按键覆盖或删除的目标系统。

按写入模型选择 Sink

查询或目标特征 更合适的 Sink 能力 关键条件
结果只产生 +I append-only 不需要修改历史行
同一业务键会反复更新 upsert 必须有稳定且唯一的键
结果可能删除 upsert/delete-capable 目标系统能按键删除
需要调试完整 Changelog retract/debug 能观察 +I、-U、+U、-D

选择 upsert 型 Sink 时,主键不只是建表语法上的装饰。它决定下游如何定位“要被替换的那一行”;如果键不稳定、会为空或不能唯一定位记录,再强的 Sink 也无法得到可靠的最终状态。

落地前做三项检查

先检查 SQL 是否包含持续聚合、去重、Join 或 CDC 等可能产生更新的操作,再确认目标 Sink 实际接受哪些行类型。若选择 upsert,还要检查主键是否稳定,以及删除应该物理删除、软删除还是保留历史版本。

最终判断可以压缩成一句话:先确定查询会怎样改表,再选择能够以同样方式改写目标系统的 Sink。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

选择兼容更新语义的 Sink

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通