大数据与流处理 / 系统课时

设计实时宽表输出语义

设计实时宽表输出语义

实时宽表不能只看“Join 成功了没有”,还要回答一个更关键的问题:已经写出的宽表行以后会不会被更新或删除。本节从事实流与维度变化出发,判断结果是追加流还是更新流,并据此选择目标表能力与稳定写入键。

学习目标

  • 判断事实变化和维度变化是否会让已输出结果失效。
  • 为追加结果与更新结果选择匹配的 Sink 语义。
  • 为宽表定义能够稳定承接更新和删除的主键。

先判断谁会让旧结果失效

如果事实流只追加,使用处理时间 Lookup Join 查询当前维度值,那么每条事实到达时只做一次维度查询。之后维表发生变化,只会影响未来到达的事实数据,不会主动召回并改写已经输出的宽表行。这类查询通常可以按追加结果设计。

如果事实源本身是 CDC,某个业务对象可能出现 UPDATE 或 DELETE;或者下游还有去重、聚合等会修改已有结果的算子,那么输出就不再是纯追加。此时 Sink 必须能够用同一个业务键覆盖旧值,并在删除时表达删除语义。

实时宽表从输入变化到 Sink 语义的选择流程

选择追加还是 Upsert

输入与查询特征 结果语义 目标表要求
事实只追加,维度变化只影响未来事实 Append 能持续追加记录即可
事实 CDC 会更新或删除,或查询本身产生更新 Upsert/Changelog 必须承接 UPDATE 与 DELETE
维度变化要改写历史宽表 主动更新既有结果 需要 CDC 驱动的重算或有状态更新链路,并使用 Upsert Sink

这一步要在建 Sink 之前完成。否则常见结果是作业能够启动,但第一条 UPDATE 或 DELETE 到来时才发现目标系统只能追加;或者目标系统虽然支持覆盖,却没有稳定键,导致同一业务对象被写成多行。

给宽表定义稳定的写入键

写入键应该表示“这一行宽表在整个生命周期中是谁”,而不是“这一行当前长什么样”。订单宽表通常用 order_id;如果一个订单有多条明细,则可以使用 order_id 与 line_id 组成联合键。

不要把客户等级、地区、状态这类会变化的维度字段放进主键。字段一旦变化,Sink 会把它识别成另一个键,旧记录就无法被正确覆盖。Flink DDL 中的 PRIMARY KEY ... NOT ENFORCED 也不会替你检查数据是否真的唯一,因此唯一性必须由源系统和查询逻辑保证。

配置能够承接更新的目标表

下面是片段示例,假定上游已经存在 enriched_orders 动态表,其中 order_id 在整个结果生命周期中保持唯一。Upsert Kafka 会把主键字段写入 Kafka key,并让同一键的后续值覆盖其先前状态;删除会写成该键的 tombstone。

sql
CREATE TABLE wide_order_sink (
  order_id BIGINT,
  customer_id BIGINT,
  customer_level STRING,
  amount DECIMAL(12, 2),
  PRIMARY KEY (order_id) NOT ENFORCED
) WITH (
  'connector' = 'upsert-kafka',
  'topic' = 'wide-orders',
  'properties.bootstrap.servers' = '<HOST>:<PORT>',
  'key.format' = 'json',
  'value.format' = 'json'
);

INSERT INTO wide_order_sink
SELECT
  order_id,
  customer_id,
  customer_level,
  amount
FROM enriched_orders;

预期结果

text
order_id 首次出现:写入该 key 的普通 value
同一 order_id 更新:仍使用同一 key,写入新的 value
同一 order_id 删除:写入同一 key 的 tombstone(null value)

<HOST> 与 <PORT> 替换为实际 Kafka Broker 地址。若目标改为 JDBC 表,同样需要在 Flink DDL 中声明与数据库唯一键一致的主键,才能让更新结果按 Upsert 方式落到同一行;没有主键的 JDBC Sink 更适合追加写入,不能正确承接一般的 UPDATE/DELETE 变更流。

用变更序列做验收

不要只检查作业状态是 RUNNING。准备一个固定业务键,依次制造插入、更新和删除,观察目标系统中是否始终只有一个逻辑实体,并且最终状态与最后一条变更一致。对于 Upsert Kafka,还应确认同一业务键始终进入同一个 Kafka key,删除能够表现为 tombstone。

如果业务选择的是追加语义,还要反向验证一次:只修改维表,不发送新的事实记录,历史宽表不应凭空变化。若产品需求却要求它变化,说明需要重新设计维度 CDC 到历史结果的更新链路,而不是继续调整 Lookup 缓存或 Sink 参数。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

设计实时宽表输出语义

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通