大数据与流处理 / 系统课时

修复 Changelog 与 Sink 冲突

修复 Changelog 与 Sink 冲突

更新查询写不进 Sink,通常不是“连接器坏了”,而是查询产生的变更类型超出了目标表能消费的范围。本课从实际 Changelog 出发,检查 Sink 能力与主键语义,再把聚合更新安全地写入 Upsert Sink。

学习目标

  • 用 EXPLAIN (CHANGELOG_MODE) 判断查询会产生 INSERT、UPDATE_AFTER、DELETE 等哪类变更。
  • 根据结果表语义选择 append 或 upsert Sink,并正确声明主键。
  • 用固定排查顺序定位“无法写入”和“同一结果被错误覆盖”两类问题。

先确认查询会发出什么变更

流式 SQL 的结果表会持续变化。只有 INSERT 的查询可以直接写入 append-only Sink;分组聚合、去重、Top-N 等查询往往还会产生更新或删除。排障时先看查询输出,而不是先改连接器参数。

下面的 SQL 用 DataGen 产生订单事件,再对 user_id 做持续计数。EXPLAIN (CHANGELOG_MODE) 不启动长时间作业,只检查优化计划中的变更模式。

sql
CREATE TEMPORARY TABLE order_events (
  order_id BIGINT,
  user_id INT
) WITH (
  'connector' = 'datagen',
  'rows-per-second' = '1'
);

EXPLAIN (CHANGELOG_MODE)
SELECT
  user_id,
  COUNT(*) AS order_count
FROM order_events
GROUP BY user_id;

预期输出

text
... GroupAggregate(..., changelogMode=[I,UA]) ...

计划节点的完整文本会随 Flink 版本和优化结果变化,但这里最重要的是 I 与 UA:某个 user_id 第一次出现时插入结果,后续订单到达时更新同一结果行。只接受追加记录的 Sink 无法直接承接这种更新流。

从查询变更模式到 Sink 修复的排查链路

识别两种不同的冲突

第一类是能力冲突:查询会产生更新或删除,而目标 Sink 只能追加。典型表现是在提交 SQL 时就被 Planner 拒绝。此时继续调并行度、缓冲区或重试没有意义,因为问题发生在语义校验阶段。

第二类是键冲突:Sink 支持 upsert,但主键没有表示最终结果的唯一身份。例如结果是一行一个 user_id,却把别的字段声明成主键,就可能让本应独立的结果互相覆盖。主键不是“为了让 DDL 通过”而随便选一列,而是下游物化结果的身份定义。

用 Upsert Sink 承接更新结果

对于“一行一个用户计数”的结果,user_id 就是稳定唯一键。下面把目标表改成 upsert-kafka,并让主键字段进入 Kafka Key。执行前需要安装对应 Kafka SQL Connector,并把 <HOST>、<PORT> 替换为实际地址。

sql
CREATE TEMPORARY TABLE user_order_count (
  user_id INT,
  order_count BIGINT,
  PRIMARY KEY (user_id) NOT ENFORCED
) WITH (
  'connector' = 'upsert-kafka',
  'topic' = 'user-order-count',
  'properties.bootstrap.servers' = '<HOST>:<PORT>',
  'key.format' = 'json',
  'value.format' = 'json',
  'value.fields-include' = 'EXCEPT_KEY'
);

EXPLAIN (CHANGELOG_MODE)
INSERT INTO user_order_count
SELECT
  user_id,
  COUNT(*) AS order_count
FROM order_events
GROUP BY user_id;

预期结果

text
计划生成成功;聚合节点包含 changelogMode=[I,UA],Sink 校验通过。

真正提交 INSERT INTO 后,同一个 user_id 的新计数会以相同 Kafka Key 写出,因此下游按键物化时看到的是该用户的最新值,而不是把每次更新当成一条互不相关的追加记录。

按固定顺序完成验证

遇到 Changelog 与 Sink 冲突时,按下面顺序排查最省时间:

  1. 对最终 SELECT 或 INSERT 执行 EXPLAIN (CHANGELOG_MODE),确认是否存在更新或删除。
  2. 核对 Sink 是 append、upsert 还是支持完整 Changelog,不要只看“能不能连上”。
  3. 若使用 upsert,确认主键与查询最终唯一键一致,并检查组合键是否遗漏字段。
  4. 检查序列化格式、Kafka Key 或数据库唯一键是否真的携带同一套主键语义。
  5. 修复后重新 EXPLAIN,再提交作业,并从下游按主键读取结果验证是否仍有错误覆盖。

如果 Planner 已经接受写入但结果仍互相覆盖,重点就从“Changelog 能力”转向“主键是否唯一”;如果提交阶段直接拒绝,则先解决 Sink 无法消费当前变更模式的问题。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

修复 Changelog 与 Sink 冲突

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通