大数据与流处理 / 系统课时

维表关联

维表关联

本课完成一个可落地的 Lookup Join:实时订单到达后,Flink 按客户编号查询 MySQL 维表,把客户名称和等级补充到事实流中,并说明处理时间、主键、缓存与数据库压力之间的关系。

学习目标

  • 理解 Lookup Join 的查询时机和适用边界
  • 使用 JDBC 维表完成实时事实流关联
  • 能够验证结果并排查常见的关联失败

Lookup Join 的工作方式

普通流式 Join 往往需要把两侧数据都保存在 Flink 状态中。Lookup Join 不同:事实流每到一条记录,运行时根据关联键向外部系统查询当前维度值,再把查询结果拼接到事实记录上。

Lookup Join 查询链路

SQL 中必须为事实表提供处理时间属性,并使用 FOR SYSTEM_TIME AS OF 指定查询时刻。对于 JDBC 维表,这表示每条事实记录到达算子时,查询外部数据库中当时可见的最新维度值,而不是回溯历史版本。

准备 MySQL 维表

先在 MySQL 中创建客户维表并写入两条测试数据。customer_id 必须能够唯一定位一行,否则查询结果可能重复或不稳定。

sql
CREATE TABLE customer_dim (
    customer_id BIGINT PRIMARY KEY,
    customer_name VARCHAR(64) NOT NULL,
    level_name VARCHAR(32) NOT NULL
);

INSERT INTO customer_dim(customer_id, customer_name, level_name)
VALUES
    (101, 'Alice', 'GOLD'),
    (102, 'Bob', 'SILVER');

SELECT customer_id, customer_name, level_name
FROM customer_dim
ORDER BY customer_id;

预期结果:

text
+-------------+---------------+------------+
| customer_id | customer_name | level_name |
+-------------+---------------+------------+
|         101 | Alice         | GOLD       |
|         102 | Bob           | SILVER     |
+-------------+---------------+------------+

实际数据库名、账号和密码应由环境变量或安全配置提供,不要把生产凭证直接写入课程脚本。

在 Flink SQL 中完成关联

下面示例假设订单来自 Kafka。运行前需要把与当前 Flink 版本匹配的 Kafka SQL Connector 和 JDBC Connector JAR 放入 <PATH>/lib,并重启 SQL Client。示例中的 <HOST>、<PORT>、<DATABASE> 和 <PASSWORD> 需要替换为实际值。

sql
CREATE TABLE orders (
    order_id BIGINT,
    customer_id BIGINT,
    amount DECIMAL(12, 2),
    proc_time AS PROCTIME()
) WITH (
    'connector' = 'kafka',
    'topic' = 'orders',
    'properties.bootstrap.servers' = '<HOST>:<PORT>',
    'properties.group.id' = 'lookup-join-demo',
    'scan.startup.mode' = 'earliest-offset',
    'format' = 'json'
);

CREATE TABLE customer_dim (
    customer_id BIGINT,
    customer_name STRING,
    level_name STRING,
    PRIMARY KEY (customer_id) NOT ENFORCED
) WITH (
    'connector' = 'jdbc',
    'url' = 'jdbc:mysql://<HOST>:<PORT>/<DATABASE>',
    'table-name' = 'customer_dim',
    'username' = '<USER>',
    'password' = '<PASSWORD>'
);

SELECT
    o.order_id,
    o.customer_id,
    c.customer_name,
    c.level_name,
    o.amount
FROM orders AS o
LEFT JOIN customer_dim FOR SYSTEM_TIME AS OF o.proc_time AS c
ON o.customer_id = c.customer_id;

向 orders 主题写入 {"order_id":9001,"customer_id":101,"amount":88.50} 后,预期查询结果为:

text
+----------+-------------+---------------+------------+--------+
| order_id | customer_id | customer_name | level_name | amount |
+----------+-------------+---------------+------------+--------+
|     9001 |         101 | Alice         | GOLD       |  88.50 |
+----------+-------------+---------------+------------+--------+

SQL Client 的列宽、行模式和时间字段展示可能不同,但关联字段应保持一致。使用 LEFT JOIN 时,维表中不存在键值也会保留订单,维度字段为 NULL;使用 JOIN 时,该订单不会出现在结果中。

性能与一致性边界

Lookup Join 的吞吐上限通常受维表查询延迟和数据库并发能力影响。事实流量较大时,应先保证关联键命中主键或索引,再根据连接器版本配置查询缓存、超时和重试;缓存能降低数据库压力,但也会让维度变更在缓存失效前不可见。

处理时间 Lookup Join 查询的是“处理到该记录时”的维表值。它适合客户等级、商品信息、地区编码等允许短暂延迟的在线补全,不适合要求严格按事件发生时刻还原历史维度的场景。需要历史一致性时,应使用带版本的变更日志维表和事件时间时态关联。

常见失败处理

No suitable driver 或找不到 connector factory,通常表示 JDBC Connector 或数据库驱动未安装、版本不匹配。维表查询持续超时,应检查数据库连接数、慢查询、网络和关联键索引,而不是盲目增加 Flink 并行度。

关联结果始终为 NULL 时,依次核对两侧字段类型、键值内容、数据库权限和表名大小写。可先在 MySQL 中用同一个 customer_id 执行单行查询,确认维表确实能够命中。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

维表关联

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通