大数据与流处理 / 系统课时
构建订单实时宽表
构建订单实时宽表
订单实时宽表的难点不是把三张表写成一个 JOIN,而是让每笔订单拿到下单时刻对应的商品和用户版本。本课把事件时间、五分钟窗口、CDC 版本化维表与 Temporal Join 组合起来,并用一组受控时间线验证历史版本是否正确。
学习目标
- 为订单事实流和 CDC 维表声明事件时间、Watermark 与主键。
- 用
FOR SYSTEM_TIME AS OF让订单关联其事件时刻对应的维度版本。 - 用事件时间窗口与明细结果交叉验收订单数量、金额和历史维度版本。
先固定宽表的时间语义
假设商品 P1 在 10:05 从“机械键盘”改成“机械键盘 Pro”,用户 U1 在 10:06 从 SILVER 升为 GOLD。10:03 的订单必须看到旧商品名和旧等级,10:08 的订单才应该看到新版本。
这里有两套时间语义:Temporal Join 决定一笔订单应该读取哪个维度版本;窗口只把订单按事件时间分桶,用来做五分钟数量和金额验收。不能拿窗口结束时间代替订单自己的 order_time 去选维度版本。

注册事实流与版本化维表
下面示例假设订单以普通 JSON 写入 Kafka,商品和用户变更由 Debezium 格式的 CDC Topic 提供。product_id、user_id 是维表主键,updated_at 表示维度版本时间。为避免测试时维表 Topic 暂时没有新事件而卡住整体 Watermark,同时设置 source idle timeout。
SET 'table.exec.source.idle-timeout' = '10 s';
CREATE TEMPORARY TABLE orders (
order_id STRING,
product_id STRING,
user_id STRING,
quantity INT,
unit_price DECIMAL(10, 2),
order_time TIMESTAMP(3),
WATERMARK FOR order_time AS order_time - INTERVAL '5' SECOND
) WITH (
'connector' = 'kafka',
'topic' = 'orders',
'properties.bootstrap.servers' = '<HOST>:<PORT>',
'properties.group.id' = 'order-wide-orders',
'scan.startup.mode' = 'earliest-offset',
'format' = 'json'
);
CREATE TEMPORARY TABLE product_dim (
product_id STRING,
product_name STRING,
category STRING,
updated_at TIMESTAMP(3),
WATERMARK FOR updated_at AS updated_at - INTERVAL '5' SECOND,
PRIMARY KEY (product_id) NOT ENFORCED
) WITH (
'connector' = 'kafka',
'topic' = 'product-cdc',
'properties.bootstrap.servers' = '<HOST>:<PORT>',
'properties.group.id' = 'order-wide-product',
'scan.startup.mode' = 'earliest-offset',
'format' = 'debezium-json'
);
CREATE TEMPORARY TABLE user_dim (
user_id STRING,
user_name STRING,
member_level STRING,
updated_at TIMESTAMP(3),
WATERMARK FOR updated_at AS updated_at - INTERVAL '5' SECOND,
PRIMARY KEY (user_id) NOT ENFORCED
) WITH (
'connector' = 'kafka',
'topic' = 'user-cdc',
'properties.bootstrap.servers' = '<HOST>:<PORT>',
'properties.group.id' = 'order-wide-user',
'scan.startup.mode' = 'earliest-offset',
'format' = 'debezium-json'
);
SHOW TABLES;预期输出
orders
product_dim
user_dim如果实际目录中还有其他表,SHOW TABLES 会额外列出它们;关键是这三个源表都已注册。生产 CDC 链路还要保证 updated_at 真正随版本推进,并保证声明的主键与源数据库唯一键一致。
用订单事件时间完成两次 Temporal Join
宽表以 order_id 为最终唯一键。目标使用 Upsert Kafka,便于下游按订单键物化;如果你的事实流严格只追加且订单永不修正,也可以根据实际 Sink 能力选择 append 方案。
CREATE TEMPORARY TABLE order_wide (
order_id STRING,
order_time TIMESTAMP(3),
product_id STRING,
product_name STRING,
category STRING,
user_id STRING,
user_name STRING,
member_level STRING,
quantity INT,
unit_price DECIMAL(10, 2),
order_amount DECIMAL(20, 2),
PRIMARY KEY (order_id) NOT ENFORCED
) WITH (
'connector' = 'upsert-kafka',
'topic' = 'order-wide',
'properties.bootstrap.servers' = '<HOST>:<PORT>',
'key.format' = 'json',
'value.format' = 'json',
'value.fields-include' = 'EXCEPT_KEY'
);
EXPLAIN (CHANGELOG_MODE)
INSERT INTO order_wide
SELECT
o.order_id,
o.order_time,
o.product_id,
p.product_name,
p.category,
o.user_id,
u.user_name,
u.member_level,
o.quantity,
o.unit_price,
CAST(o.quantity * o.unit_price AS DECIMAL(20, 2)) AS order_amount
FROM orders AS o
LEFT JOIN product_dim FOR SYSTEM_TIME AS OF o.order_time AS p
ON o.product_id = p.product_id
LEFT JOIN user_dim FOR SYSTEM_TIME AS OF o.order_time AS u
ON o.user_id = u.user_id;预期结果
计划生成成功;两个时态关联都使用 orders.order_time 选择右侧历史版本,目标 Sink 校验通过。这里不能把 AS OF 改成处理时间来“提速”。那样每笔订单看到的是处理当下的维度状态,发生积压或补数时就可能把历史订单关联到错误的新版本。
用窗口先验收事实流
在写宽表前,先对原始订单做五分钟事件时间窗口聚合。它不参与维度关联,只回答“这两个时间段分别有多少订单、多少金额”,便于把事实流问题和维表版本问题分开排查。
按测试数据写入 O1001:10:03、数量 2、单价 99.00,以及 O1002:10:08、数量 1、单价 99.00 后执行:
SELECT
window_start,
window_end,
COUNT(*) AS order_count,
CAST(SUM(quantity * unit_price) AS DECIMAL(20, 2)) AS gmv
FROM TABLE(
TUMBLE(TABLE orders, DESCRIPTOR(order_time), INTERVAL '5' MINUTES)
)
GROUP BY window_start, window_end;预期输出
2026-09-11 10:00:00 | 2026-09-11 10:05:00 | 1 | 198.00
2026-09-11 10:05:00 | 2026-09-11 10:10:00 | 1 | 99.00窗口结果正确,说明订单事件时间和 Watermark 至少能按预期驱动分桶;如果这里就少单或跨错窗口,应先修事实流时间语义,不要立即怀疑 Temporal Join。
运行并验证历史版本
确认计划后,把上一段 EXPLAIN (CHANGELOG_MODE) 去掉并执行同一条 INSERT INTO ... SELECT ...。作业是持续运行的流任务,提交成功后不会像批处理那样立即结束。
INSERT INTO order_wide
SELECT
o.order_id,
o.order_time,
o.product_id,
p.product_name,
p.category,
o.user_id,
u.user_name,
u.member_level,
o.quantity,
o.unit_price,
CAST(o.quantity * o.unit_price AS DECIMAL(20, 2)) AS order_amount
FROM orders AS o
LEFT JOIN product_dim FOR SYSTEM_TIME AS OF o.order_time AS p
ON o.product_id = p.product_id
LEFT JOIN user_dim FOR SYSTEM_TIME AS OF o.order_time AS u
ON o.user_id = u.user_id;预期结果
作业进入运行状态,Job ID=<ID>;order-wide Topic 持续收到以 order_id 为键的宽表记录。按前面的测试时间线准备维表版本:P1 在 10:00 是“机械键盘”、10:05 更新为“机械键盘 Pro”;U1 在 09:59 是 SILVER、10:06 更新为 GOLD。然后查询宽表的关键字段:
SELECT
order_id,
order_time,
product_id,
product_name,
user_id,
member_level,
quantity,
unit_price,
order_amount
FROM order_wide;预期输出
O1001 | 2026-09-11 10:03:00 | P1 | 机械键盘 | U1 | SILVER | 2 | 99.00 | 198.00
O1002 | 2026-09-11 10:08:00 | P1 | 机械键盘 Pro | U1 | GOLD | 1 | 99.00 | 99.00这两行最关键的验收点不是金额,而是版本选择:早订单保持旧商品名和旧会员等级,晚订单使用新版本。若 10:03 的订单也出现“机械键盘 Pro”或 GOLD,就应优先检查 AS OF 是否使用了订单事件时间、右表主键是否进入等值关联,以及两侧 Watermark 是否按预期推进。