大数据与流处理 / 系统课时

先跑通一张表的同步

先跑通一张表的同步

这一课只做一件事:用 Flink CDC 监听 MySQL 的一张订单表,并把变更写到可观察的 Print 目标端。完成后,你将亲手验证已有数据、INSERT、UPDATE 和 DELETE 都能进入同一条同步链路。

学习目标

  • 创建只覆盖一张 MySQL 表的最小 CDC 同步任务
  • 通过目标端输出验证插入、更新和删除产生的变更
  • 能从连接、权限和表名三个方向定位最小链路失败

准备源表和测试数据

下面以 MySQL 为源端。开始前需要确保 MySQL 已开启 binlog,Flink 运行环境已经放入与当前 Flink 版本兼容的 MySQL CDC connector,并且用于采集的账号具备读取目标库表及 binlog 所需的权限。

先建立独立测试库和订单表,避免练习操作影响业务数据。

sql
CREATE DATABASE IF NOT EXISTS cdc_demo;
USE cdc_demo;

CREATE TABLE orders (
    id BIGINT PRIMARY KEY,
    customer_name VARCHAR(64) NOT NULL,
    amount DECIMAL(10, 2) NOT NULL,
    status VARCHAR(20) NOT NULL
);

INSERT INTO orders VALUES
    (1, 'Alice', 99.00, 'CREATED');

预期结果

text
Query OK, 1 row affected

不同 MySQL 客户端对提示文字的展示可能略有差异,关键是 orders 中存在 id=1 的基线记录。

创建最小 Flink CDC 任务

在 Flink SQL Client 中定义源表。把 <HOST>、<PORT>、<USER> 和 <PASSWORD> 替换为实际连接信息;端口通常是 MySQL 服务端口,但应以你的环境为准。

sql
CREATE TABLE mysql_orders (
    id BIGINT,
    customer_name STRING,
    amount DECIMAL(10, 2),
    status STRING,
    PRIMARY KEY (id) NOT ENFORCED
) WITH (
    'connector' = 'mysql-cdc',
    'hostname' = '<HOST>',
    'port' = '<PORT>',
    'username' = '<USER>',
    'password' = '<PASSWORD>',
    'database-name' = 'cdc_demo',
    'table-name' = 'orders'
);

CREATE TABLE print_orders (
    id BIGINT,
    customer_name STRING,
    amount DECIMAL(10, 2),
    status STRING,
    PRIMARY KEY (id) NOT ENFORCED
) WITH (
    'connector' = 'print'
);

INSERT INTO print_orders
SELECT id, customer_name, amount, status
FROM mysql_orders;

这两个 CREATE TABLE 是 Flink 的逻辑表定义,不会重新创建 MySQL 源表。最后的 INSERT INTO ... SELECT 才会提交持续运行的同步作业。SQL Client 的提交信息会包含环境生成的 Job ID,因此实际值可能不同。

预期结果

text
Job ID: <ID>

单表 CDC 最小同步链路

验证四类数据变化

作业启动后,已有的 id=1 记录会先被读取。随后在 MySQL 中连续执行插入、更新和删除,用少量确定的数据观察目标端变化。

sql
USE cdc_demo;

INSERT INTO orders VALUES (2, 'Bob', 120.50, 'CREATED');
UPDATE orders SET status = 'PAID' WHERE id = 2;
DELETE FROM orders WHERE id = 1;

预期结果

text
Query OK, 1 row affected
Query OK, 1 row affected
Query OK, 1 row affected

Print connector 会把 Flink 的 changelog 行打印到 TaskManager 标准输出。典型变化可以观察到 +I、更新前后的 -U/+U,以及删除对应的 -D;并行度和日志前缀会影响实际行的排列与前缀,因此不要依赖完整日志文本做断言。

text
+I[1, Alice, 99.00, CREATED]
+I[2, Bob, 120.50, CREATED]
-U[2, Bob, 120.50, CREATED]
+U[2, Bob, 120.50, PAID]
-D[1, Alice, 99.00, CREATED]

这里最重要的验收条件不是日志顺序完全相同,而是基线记录能够到达、id=2 的新增与状态更新能够到达、id=1 的删除能够到达。

链路不通时先缩小范围

如果作业在启动阶段直接失败,先检查 <HOST>、<PORT> 和账号权限,再确认 database-name 与 table-name 和 MySQL 中的实际名称一致。如果快照能读到已有记录,但后续修改一直没有出现,则应优先检查 MySQL binlog 是否开启、采集账号是否具备相应权限,以及 Flink 作业是否仍处于运行状态。

当已有记录以及后续 INSERT、UPDATE、DELETE 都能在目标端观察到时,这条最小 CDC 链路才算真正跑通。

按自己的节奏,确认真正理解。

目录与阅读设置

记录一个想法

先跑通一张表的同步

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通