大数据与流处理 / 系统课时
选择兼容更新语义的 Sink
选择兼容更新语义的 Sink
流式 SQL 查询的结果不总是“追加一行就结束”。聚合、去重或部分 Join 会持续修正已有结果。本篇用 Changelog 判断 Sink 能否接住这些修正,并建立从查询语义到目标系统写入能力的选择方法。
学习目标
- 根据 SQL 结果识别
INSERT、UPDATE_BEFORE、UPDATE_AFTER、DELETE等变更类型。 - 解释只支持追加写入的 Sink 为什么无法消费更新结果。
- 按 Changelog、主键与目标系统写入模型选择合适的 Sink。
先看查询会产生什么 Changelog
Flink SQL 把持续变化的结果表编码成 Changelog。简单过滤和投影通常只新增行;持续分组聚合会在同一个分组值变化时撤回旧结果并写入新结果;去重、Join 或 CDC 链路还可能产生删除。
| 行类型 | 常见短标记 | 含义 |
|---|---|---|
INSERT |
+I |
新增一行 |
UPDATE_BEFORE |
-U |
更新前的旧值被撤回 |
UPDATE_AFTER |
+U |
写入更新后的新值 |
DELETE |
-D |
删除已有行 |

因此,“能写入某种格式”不等于“能消费某种变更”。真正需要匹配的是上游查询的 Changelog 模式与 Sink 声明接受的行类型。
用 Print Sink 看见更新
下面的 SQL 可在 Flink SQL Client 中运行。它强制使用流模式,并用内置 Print Sink 观察持续分组聚合产生的更新;sink.parallelism = '1' 让输出不带并行子任务前缀。
SET 'execution.runtime-mode' = 'streaming';
-- 固定输入顺序,便于观察同一分组的连续更新。
CREATE TEMPORARY VIEW orders(user_id, amount) AS VALUES
(1, 10),
(1, 15),
(2, 7),
(1, 5);
-- 单并行度 Print Sink 便于直接读取 RowKind。
CREATE TEMPORARY TABLE changelog_out (
user_id INT,
order_count BIGINT
) WITH (
'connector' = 'print',
'sink.parallelism' = '1'
);
-- COUNT 会持续修正同一 user_id 的聚合结果。
INSERT INTO changelog_out
SELECT user_id, COUNT(*) AS order_count
FROM orders
GROUP BY user_id;预期输出(不同分组之间的打印先后可能不同,但同一分组会体现撤回与更新):
+I(1,1)
-U(1,1)
+U(1,2)
+I(2,1)
-U(1,2)
+U(1,3)这里的关键不是最终计数,而是 -U 与 +U。它们说明结果表中的 user_id = 1 被原地修正过,因此下游如果只能追加 +I,就无法表达“旧值失效、新值生效”。
为什么 append-only Sink 会拒绝更新
规划作业时,Flink 会让查询所需的 Changelog 与 Sink 可接受的 Changelog 对齐。若查询必须发送更新或删除,而 Sink 只接受 INSERT,这个矛盾通常会在作业提交或规划阶段直接暴露,而不是等数据写坏后再发现。
因此,文件归档、只追加日志这类目标更适合本身就是 append-only 的查询;持续聚合结果则通常需要能按键覆盖或删除的目标系统。
按写入模型选择 Sink
| 查询或目标特征 | 更合适的 Sink 能力 | 关键条件 |
|---|---|---|
结果只产生 +I |
append-only | 不需要修改历史行 |
| 同一业务键会反复更新 | upsert | 必须有稳定且唯一的键 |
| 结果可能删除 | upsert/delete-capable | 目标系统能按键删除 |
| 需要调试完整 Changelog | retract/debug | 能观察 +I、-U、+U、-D |
选择 upsert 型 Sink 时,主键不只是建表语法上的装饰。它决定下游如何定位“要被替换的那一行”;如果键不稳定、会为空或不能唯一定位记录,再强的 Sink 也无法得到可靠的最终状态。
落地前做三项检查
先检查 SQL 是否包含持续聚合、去重、Join 或 CDC 等可能产生更新的操作,再确认目标 Sink 实际接受哪些行类型。若选择 upsert,还要检查主键是否稳定,以及删除应该物理删除、软删除还是保留历史版本。
最终判断可以压缩成一句话:先确定查询会怎样改表,再选择能够以同样方式改写目标系统的 Sink。