大数据与流处理 / 系统课时
先跑通一张表的同步
先跑通一张表的同步
这一课只做一件事:用 Flink CDC 监听 MySQL 的一张订单表,并把变更写到可观察的 Print 目标端。完成后,你将亲手验证已有数据、INSERT、UPDATE 和 DELETE 都能进入同一条同步链路。
学习目标
- 创建只覆盖一张 MySQL 表的最小 CDC 同步任务
- 通过目标端输出验证插入、更新和删除产生的变更
- 能从连接、权限和表名三个方向定位最小链路失败
准备源表和测试数据
下面以 MySQL 为源端。开始前需要确保 MySQL 已开启 binlog,Flink 运行环境已经放入与当前 Flink 版本兼容的 MySQL CDC connector,并且用于采集的账号具备读取目标库表及 binlog 所需的权限。
先建立独立测试库和订单表,避免练习操作影响业务数据。
CREATE DATABASE IF NOT EXISTS cdc_demo;
USE cdc_demo;
CREATE TABLE orders (
id BIGINT PRIMARY KEY,
customer_name VARCHAR(64) NOT NULL,
amount DECIMAL(10, 2) NOT NULL,
status VARCHAR(20) NOT NULL
);
INSERT INTO orders VALUES
(1, 'Alice', 99.00, 'CREATED');预期结果
Query OK, 1 row affected不同 MySQL 客户端对提示文字的展示可能略有差异,关键是 orders 中存在 id=1 的基线记录。
创建最小 Flink CDC 任务
在 Flink SQL Client 中定义源表。把 <HOST>、<PORT>、<USER> 和 <PASSWORD> 替换为实际连接信息;端口通常是 MySQL 服务端口,但应以你的环境为准。
CREATE TABLE mysql_orders (
id BIGINT,
customer_name STRING,
amount DECIMAL(10, 2),
status STRING,
PRIMARY KEY (id) NOT ENFORCED
) WITH (
'connector' = 'mysql-cdc',
'hostname' = '<HOST>',
'port' = '<PORT>',
'username' = '<USER>',
'password' = '<PASSWORD>',
'database-name' = 'cdc_demo',
'table-name' = 'orders'
);
CREATE TABLE print_orders (
id BIGINT,
customer_name STRING,
amount DECIMAL(10, 2),
status STRING,
PRIMARY KEY (id) NOT ENFORCED
) WITH (
'connector' = 'print'
);
INSERT INTO print_orders
SELECT id, customer_name, amount, status
FROM mysql_orders;这两个 CREATE TABLE 是 Flink 的逻辑表定义,不会重新创建 MySQL 源表。最后的 INSERT INTO ... SELECT 才会提交持续运行的同步作业。SQL Client 的提交信息会包含环境生成的 Job ID,因此实际值可能不同。
预期结果
Job ID: <ID>
验证四类数据变化
作业启动后,已有的 id=1 记录会先被读取。随后在 MySQL 中连续执行插入、更新和删除,用少量确定的数据观察目标端变化。
USE cdc_demo;
INSERT INTO orders VALUES (2, 'Bob', 120.50, 'CREATED');
UPDATE orders SET status = 'PAID' WHERE id = 2;
DELETE FROM orders WHERE id = 1;预期结果
Query OK, 1 row affected
Query OK, 1 row affected
Query OK, 1 row affectedPrint connector 会把 Flink 的 changelog 行打印到 TaskManager 标准输出。典型变化可以观察到 +I、更新前后的 -U/+U,以及删除对应的 -D;并行度和日志前缀会影响实际行的排列与前缀,因此不要依赖完整日志文本做断言。
+I[1, Alice, 99.00, CREATED]
+I[2, Bob, 120.50, CREATED]
-U[2, Bob, 120.50, CREATED]
+U[2, Bob, 120.50, PAID]
-D[1, Alice, 99.00, CREATED]这里最重要的验收条件不是日志顺序完全相同,而是基线记录能够到达、id=2 的新增与状态更新能够到达、id=1 的删除能够到达。
链路不通时先缩小范围
如果作业在启动阶段直接失败,先检查 <HOST>、<PORT> 和账号权限,再确认 database-name 与 table-name 和 MySQL 中的实际名称一致。如果快照能读到已有记录,但后续修改一直没有出现,则应优先检查 MySQL binlog 是否开启、采集账号是否具备相应权限,以及 Flink 作业是否仍处于运行状态。
当已有记录以及后续 INSERT、UPDATE、DELETE 都能在目标端观察到时,这条最小 CDC 链路才算真正跑通。