大数据与流处理 / 系统课时

读取 MySQL 变更

读取 MySQL 变更

本课使用 Flink SQL 创建 MySQL CDC 源表,并通过一组可重复执行的插入、更新和删除操作观察变更流。完成后,你能够区分初始快照、+I、-U、+U 与 -D,并确认数据源正在持续读取 Binlog。

学习目标

  • 使用 mysql-cdc 连接器注册 MySQL 源表
  • 观察初始快照与后续 Binlog 增量的衔接
  • 根据 RowKind 标记识别插入、更新和删除事件

创建 MySQL CDC 表

开始前,应已将与当前 Flink 版本兼容的 MySQL CDC SQL Connector JAR 放入 <FLINK_HOME>/lib/,并重启 SQL Client。源表字段需要与 MySQL 表兼容,主键使用 NOT ENFORCED 声明,表示 Flink 信任源端主键但不在运行时检查约束。

sql
SET 'sql-client.execution.result-mode' = 'changelog';
SET 'execution.checkpointing.interval' = '10s';

CREATE TABLE mysql_orders (
    id BIGINT,
    customer_name STRING,
    amount DECIMAL(10, 2),
    status STRING,
    updated_at TIMESTAMP(0),
    PRIMARY KEY (id) NOT ENFORCED
) WITH (
    'connector' = 'mysql-cdc',
    'hostname' = '<HOST>',
    'port' = '3306',
    'username' = 'flink_cdc',
    'password' = '<PASSWORD>',
    'database-name' = 'cdc_demo',
    'table-name' = 'orders',
    'server-id' = '5401-5404'
);

预期结果

text
[INFO] Execute statement succeeded.
[INFO] Execute statement succeeded.
[INFO] Execute statement succeeded.

<HOST> 和 <PASSWORD> 替换为实际连接信息。server-id 范围应覆盖源算子的并行读取器,并且不能与其他正在读取同一 MySQL 集群 Binlog 的客户端冲突;官方文档建议每个读取器使用唯一编号。:contentReference[oaicite:2]{index=2}

MySQL CDC 快照与增量数据流

观察初始快照

执行查询后,SQL Client 会保持运行并持续输出变更。首次以默认初始模式启动时,连接器先读取表快照,再继续读取新的 Binlog;快照中的现有行以插入形式进入 Flink。:contentReference[oaicite:3]{index=3}

sql
SELECT id, customer_name, amount, status, updated_at
FROM mysql_orders;

预期输出

text
+I[1001, Alice, 99.90, CREATED, <TIME>]
+I[1002, Bob, 188.00, PAID, <TIME>]

<TIME> 是 MySQL 表中的实际时间。初始结果顺序不应作为业务保证;并行快照可能让不同主键区间交错输出。

制造并识别变更

保持 Flink 查询运行,在另一个 MySQL 会话中依次执行插入、更新和删除。三条语句使用不同主键,便于逐项核对事件。

sql
USE cdc_demo;

INSERT INTO orders (id, customer_name, amount, status)
VALUES (1003, 'Carol', 66.60, 'CREATED');

UPDATE orders
SET amount = 109.90,
    status = 'PAID'
WHERE id = 1001;

DELETE FROM orders
WHERE id = 1002;

预期结果

text
Query OK, 1 row affected
Query OK, 1 row affected
Query OK, 1 row affected

回到 Flink SQL Client,可以观察到以下变更。时间值和事件到达时间会因环境而不同,但同一主键的更新前后语义应保持一致。

text
+I[1003, Carol, 66.60, CREATED, <TIME>]
-U[1001, Alice, 99.90, CREATED, <TIME>]
+U[1001, Alice, 109.90, PAID, <TIME>]
-D[1002, Bob, 188.00, PAID, <TIME>]

+I 表示新增行,-U 表示更新前镜像,+U 表示更新后镜像,-D 表示删除前的旧行。更新通常是一对撤回与新增事件,下游聚合、关联或主键表 Sink 会据此修正结果。

理解事件顺序与边界

初始快照中的旧数据和新插入数据都可能显示为 +I,因此不能只凭 RowKind 判断事件来自快照还是 Binlog。需要精确区分来源时,应结合连接器元数据、作业启动位置或外部审计字段设计,而不是依赖控制台出现时间。

同一主键的 Binlog 变更具有事务顺序,但不同事务、不同表分片或并行下游之间不应假设全局输出顺序。业务要求全局排序时,需要额外的事件时间、序列号或单并行度整理,这会带来吞吐和延迟成本。

若查询只有初始数据而没有后续事件,优先检查 MySQL 账号的复制权限、Binlog 是否为 ROW、server-id 是否冲突,以及作业日志中是否存在连接断开或日志文件被清理的异常。

验收检查

完成本课后,按以下结果验收:

  • 首次查询能看到 1001、1002 两条初始数据
  • 插入 1003 后出现一条 +I
  • 更新 1001 后出现匹配的 -U 与 +U
  • 删除 1002 后出现一条 -D
  • 停止修改 MySQL 后,查询保持运行但不重复产生相同事件
按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

读取 MySQL 变更

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通