大数据与流处理 / 系统课时
准备 MySQL CDC
准备 MySQL CDC
本课完成 MySQL 端的 CDC 前置准备:开启并验证行级 Binlog、创建最小权限账号、建立可重复修改的测试表。完成后,你将得到一套可直接交给 Flink MySQL CDC Connector 使用的数据库环境。
学习目标
- 配置并验证 MySQL Binlog 的关键参数
- 创建 CDC 读取账号并授予必要权限
- 准备测试数据并排查常见连接前置问题
准备前置条件
以下操作需要 MySQL 管理员权限,并且修改配置后能够重启 MySQL。示例以 MySQL 8.x 为主;生产环境应先备份配置文件,并确认当前实例没有通过启动参数显式关闭 Binlog。
Flink CDC 会先读取表的初始快照,再持续消费 Binlog 增量,因此数据库端必须同时满足“可查询历史数据”和“可读取复制日志”两个条件。官方连接器要求监控账号具备 SELECT、SHOW DATABASES、REPLICATION SLAVE 与 REPLICATION CLIENT 权限。:contentReference[oaicite:0]{index=0}

配置 Binlog
编辑 MySQL 实例实际加载的配置文件,例如 Linux 常见的 <PATH>/my.cnf。server-id 必须是非零整数;集群内每个 MySQL 实例应保持唯一。binlog-format=ROW 让日志记录行级变化,binlog-row-image=FULL 保留完整列值,便于连接器还原更新前后的记录。
[mysqld]
server-id=1
log-bin=mysql-bin
binlog-format=ROW
binlog-row-image=FULL
binlog-expire-logs-seconds=604800保存后重启 MySQL。Binlog 保留时间示例为 7 天,实际值应覆盖“最长故障恢复时间 + 作业停机时间”;设置过短会导致 Flink 恢复时需要的日志已被清理。MySQL 8.0 通常默认启用 Binlog,但仍必须查询实际运行值,不能只检查配置文件。:contentReference[oaicite:1]{index=1}
创建 CDC 用户与测试表
下面的 SQL 创建专用账号、授予连接器所需权限,并准备一张带主键的订单表。请把 <PASSWORD> 替换为强密码;生产环境应将主机范围从 % 收紧为 Flink 节点网段。
CREATE USER IF NOT EXISTS 'flink_cdc'@'%'
IDENTIFIED BY '<PASSWORD>';
GRANT SELECT, SHOW DATABASES, REPLICATION SLAVE, REPLICATION CLIENT
ON *.* TO 'flink_cdc'@'%';
CREATE DATABASE IF NOT EXISTS cdc_demo;
USE cdc_demo;
CREATE TABLE IF NOT EXISTS orders (
id BIGINT PRIMARY KEY,
customer_name VARCHAR(64) NOT NULL,
amount DECIMAL(10, 2) NOT NULL,
status VARCHAR(20) NOT NULL,
updated_at TIMESTAMP NOT NULL
DEFAULT CURRENT_TIMESTAMP
ON UPDATE CURRENT_TIMESTAMP
);
INSERT INTO orders (id, customer_name, amount, status)
VALUES
(1001, 'Alice', 99.90, 'CREATED'),
(1002, 'Bob', 188.00, 'PAID')
ON DUPLICATE KEY UPDATE
customer_name = VALUES(customer_name),
amount = VALUES(amount),
status = VALUES(status);
SELECT id, customer_name, amount, status
FROM orders
ORDER BY id;预期结果
1001 Alice 99.90 CREATED
1002 Bob 188.00 PAID重复执行时,ON DUPLICATE KEY UPDATE 会覆盖同主键测试数据而不是报错。测试表使用主键是为了让更新和删除事件具有稳定的行标识,也便于后续 Flink 表声明主键。
验证准备结果
依次验证 Binlog 状态、日志格式、实例编号、Binlog 文件、账号授权和测试数据。只要任一关键项不符合预期,就不要继续创建 Flink CDC 数据源。
SHOW VARIABLES
WHERE Variable_name IN (
'log_bin',
'binlog_format',
'binlog_row_image',
'server_id'
);
SHOW BINARY LOGS;
SHOW GRANTS FOR 'flink_cdc'@'%';
SELECT id, customer_name, amount, status
FROM cdc_demo.orders
ORDER BY id;预期结果
log_bin ON
binlog_format ROW
binlog_row_image FULL
server_id 1
Log_name File_size
mysql-bin.<ID> <ID>
GRANT SELECT, SHOW DATABASES, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO `flink_cdc`@`%`
1001 Alice 99.90 CREATED
1002 Bob 188.00 PAIDBinlog 文件名、文件大小和授权文本的显示顺序可能不同。验收重点是 log_bin=ON、binlog_format=ROW、server_id 非零,并且账号能够登录和查询目标表。
常见失败处理
log_bin=OFF 通常表示配置文件未被加载、实例通过启动参数关闭了 Binlog,或修改后没有重启。先用 SHOW VARIABLES LIKE 'log_bin'; 确认运行值,再检查 MySQL 启动命令与配置加载路径。
出现 Access denied 时,应分别检查账号主机范围、密码和授权。不要直接改用 root 绕过问题;生产作业使用高权限账号会扩大误操作和凭证泄露的影响范围。
若后续作业报告找不到 Binlog 文件,应延长保留时间并检查作业消费速度。已经被清理的 Binlog 无法通过修改保留参数恢复,只能根据作业启动模式重新做快照或从仍存在的位置恢复。