大数据与流处理 / 系统课时
选择需要同步的表
选择需要同步的表
CDC 作业如果把整个实例中的无关表都纳入采集,不仅增加快照和状态开销,还可能把测试表、临时表或敏感数据带入下游。Flink CDC 可以在 Source 层通过数据库名和表名过滤采集范围,本篇重点是写出明确规则并验证实际匹配结果。
学习目标
- 使用数据库级和表级规则限制 CDC 采集范围
- 理解精确名称与正则匹配的边界
- 在正式启动前验证哪些表会进入作业
在 Source 层尽早过滤
过滤应尽量发生在 CDC Source,而不是先采集所有表再在 Flink 下游丢弃。前者可以减少不必要的快照读取、变更事件处理、网络传输和状态维护,也让作业的数据权限边界更加明确。
以 MySQL CDC 的 Flink SQL connector 为例,database-name 指定需要监控的数据库,table-name 指定表。二者可以使用正则表达式,因此既能精确选择一张表,也能覆盖一组命名一致的业务表。
精确选择业务表
如果只同步 app_db.orders,最容易审计的方式是直接写精确名称。下面是可提交到 Flink SQL Client 的完整 Source DDL,字段需要与实际源表结构对应。
CREATE TABLE orders_source (
id BIGINT,
user_id BIGINT,
status STRING,
updated_at TIMESTAMP(3),
PRIMARY KEY (id) NOT ENFORCED
) WITH (
'connector' = 'mysql-cdc',
'hostname' = '<HOST>',
'port' = '3306',
'username' = 'cdc_user',
'password' = '<PASSWORD>',
'database-name' = 'app_db',
'table-name' = 'orders'
);
SELECT * FROM orders_source;预期结果
+----+---------+----------+-------------------------+
| id | user_id | status | updated_at |
+----+---------+----------+-------------------------+
| <ID> | <ID> | <VALUE> | <TIME> |
+----+---------+----------+-------------------------+实际数据内容和时间会不同。该查询只应收到 app_db.orders 对应的数据;如果更新其他未匹配表,不应因此产生 orders_source 的变更记录。
一组表要约束正则边界
当业务采用分表命名,例如 orders_2025、orders_2026,可以使用正则表达式匹配。规则应尽可能具体,避免把备份表或临时表一起选中。例如表名模式可以写为 orders_[0-9]{4},而不是宽泛的 orders_.*。
下面是配置片段示例,需要放在对应 MySQL CDC Source 的 WITH 选项中:
'database-name' = 'app_db',
'table-name' = 'orders_[0-9]{4}'这是配置片段,不会独立产生控制台输出。生效后应只匹配符合该模式的目标表;实际正则语义和 connector 支持范围需要与部署版本的文档核对。
用源库清单验证规则
不要只检查 Flink 配置字符串是否能解析,还要把规则与数据库中的真实对象对照。可以先列出候选表,再人工确认哪些应该进入 CDC 范围。
SELECT TABLE_SCHEMA, TABLE_NAME
FROM information_schema.TABLES
WHERE TABLE_SCHEMA = 'app_db'
AND TABLE_TYPE = 'BASE TABLE'
ORDER BY TABLE_NAME;预期结果
+--------------+----------------+
| TABLE_SCHEMA | TABLE_NAME |
+--------------+----------------+
| app_db | <TABLE_NAME> |
| app_db | <TABLE_NAME> |
+--------------+----------------+<TABLE_NAME> 代表环境中的实际表名。核对时尤其关注名称相近的 _bak、_tmp、历史归档表以及新建分表,因为它们最容易被宽泛规则误选。
最后在受控环境启动 Source,并分别修改一张应匹配的表和一张不应匹配的表。只有目标表的变更进入 Flink,才能说明过滤规则的实际采集边界符合预期。选择同步表的关键不是把正则写得更短,而是让规则足够明确、可审计,并能在数据库对象变化后继续保持正确边界。