大数据与流处理 / 系统课时
设计实时宽表输出语义
设计实时宽表输出语义
实时宽表不能只看“Join 成功了没有”,还要回答一个更关键的问题:已经写出的宽表行以后会不会被更新或删除。本节从事实流与维度变化出发,判断结果是追加流还是更新流,并据此选择目标表能力与稳定写入键。
学习目标
- 判断事实变化和维度变化是否会让已输出结果失效。
- 为追加结果与更新结果选择匹配的 Sink 语义。
- 为宽表定义能够稳定承接更新和删除的主键。
先判断谁会让旧结果失效
如果事实流只追加,使用处理时间 Lookup Join 查询当前维度值,那么每条事实到达时只做一次维度查询。之后维表发生变化,只会影响未来到达的事实数据,不会主动召回并改写已经输出的宽表行。这类查询通常可以按追加结果设计。
如果事实源本身是 CDC,某个业务对象可能出现 UPDATE 或 DELETE;或者下游还有去重、聚合等会修改已有结果的算子,那么输出就不再是纯追加。此时 Sink 必须能够用同一个业务键覆盖旧值,并在删除时表达删除语义。

选择追加还是 Upsert
| 输入与查询特征 | 结果语义 | 目标表要求 |
|---|---|---|
| 事实只追加,维度变化只影响未来事实 | Append | 能持续追加记录即可 |
| 事实 CDC 会更新或删除,或查询本身产生更新 | Upsert/Changelog | 必须承接 UPDATE 与 DELETE |
| 维度变化要改写历史宽表 | 主动更新既有结果 | 需要 CDC 驱动的重算或有状态更新链路,并使用 Upsert Sink |
这一步要在建 Sink 之前完成。否则常见结果是作业能够启动,但第一条 UPDATE 或 DELETE 到来时才发现目标系统只能追加;或者目标系统虽然支持覆盖,却没有稳定键,导致同一业务对象被写成多行。
给宽表定义稳定的写入键
写入键应该表示“这一行宽表在整个生命周期中是谁”,而不是“这一行当前长什么样”。订单宽表通常用 order_id;如果一个订单有多条明细,则可以使用 order_id 与 line_id 组成联合键。
不要把客户等级、地区、状态这类会变化的维度字段放进主键。字段一旦变化,Sink 会把它识别成另一个键,旧记录就无法被正确覆盖。Flink DDL 中的 PRIMARY KEY ... NOT ENFORCED 也不会替你检查数据是否真的唯一,因此唯一性必须由源系统和查询逻辑保证。
配置能够承接更新的目标表
下面是片段示例,假定上游已经存在 enriched_orders 动态表,其中 order_id 在整个结果生命周期中保持唯一。Upsert Kafka 会把主键字段写入 Kafka key,并让同一键的后续值覆盖其先前状态;删除会写成该键的 tombstone。
CREATE TABLE wide_order_sink (
order_id BIGINT,
customer_id BIGINT,
customer_level STRING,
amount DECIMAL(12, 2),
PRIMARY KEY (order_id) NOT ENFORCED
) WITH (
'connector' = 'upsert-kafka',
'topic' = 'wide-orders',
'properties.bootstrap.servers' = '<HOST>:<PORT>',
'key.format' = 'json',
'value.format' = 'json'
);
INSERT INTO wide_order_sink
SELECT
order_id,
customer_id,
customer_level,
amount
FROM enriched_orders;预期结果
order_id 首次出现:写入该 key 的普通 value
同一 order_id 更新:仍使用同一 key,写入新的 value
同一 order_id 删除:写入同一 key 的 tombstone(null value)<HOST> 与 <PORT> 替换为实际 Kafka Broker 地址。若目标改为 JDBC 表,同样需要在 Flink DDL 中声明与数据库唯一键一致的主键,才能让更新结果按 Upsert 方式落到同一行;没有主键的 JDBC Sink 更适合追加写入,不能正确承接一般的 UPDATE/DELETE 变更流。
用变更序列做验收
不要只检查作业状态是 RUNNING。准备一个固定业务键,依次制造插入、更新和删除,观察目标系统中是否始终只有一个逻辑实体,并且最终状态与最后一条变更一致。对于 Upsert Kafka,还应确认同一业务键始终进入同一个 Kafka key,删除能够表现为 tombstone。
如果业务选择的是追加语义,还要反向验证一次:只修改维表,不发送新的事实记录,历史宽表不应凭空变化。若产品需求却要求它变化,说明需要重新设计维度 CDC 到历史结果的更新链路,而不是继续调整 Lookup 缓存或 Sink 参数。