大数据与流处理 / 系统课时

准备 MySQL CDC

准备 MySQL CDC

本课完成 MySQL 端的 CDC 前置准备:开启并验证行级 Binlog、创建最小权限账号、建立可重复修改的测试表。完成后,你将得到一套可直接交给 Flink MySQL CDC Connector 使用的数据库环境。

学习目标

  • 配置并验证 MySQL Binlog 的关键参数
  • 创建 CDC 读取账号并授予必要权限
  • 准备测试数据并排查常见连接前置问题

准备前置条件

以下操作需要 MySQL 管理员权限,并且修改配置后能够重启 MySQL。示例以 MySQL 8.x 为主;生产环境应先备份配置文件,并确认当前实例没有通过启动参数显式关闭 Binlog。

Flink CDC 会先读取表的初始快照,再持续消费 Binlog 增量,因此数据库端必须同时满足“可查询历史数据”和“可读取复制日志”两个条件。官方连接器要求监控账号具备 SELECT、SHOW DATABASES、REPLICATION SLAVE 与 REPLICATION CLIENT 权限。:contentReference[oaicite:0]{index=0}

MySQL CDC 准备链路

配置 Binlog

编辑 MySQL 实例实际加载的配置文件,例如 Linux 常见的 <PATH>/my.cnf。server-id 必须是非零整数;集群内每个 MySQL 实例应保持唯一。binlog-format=ROW 让日志记录行级变化,binlog-row-image=FULL 保留完整列值,便于连接器还原更新前后的记录。

ini
[mysqld]
server-id=1
log-bin=mysql-bin
binlog-format=ROW
binlog-row-image=FULL
binlog-expire-logs-seconds=604800

保存后重启 MySQL。Binlog 保留时间示例为 7 天,实际值应覆盖“最长故障恢复时间 + 作业停机时间”;设置过短会导致 Flink 恢复时需要的日志已被清理。MySQL 8.0 通常默认启用 Binlog,但仍必须查询实际运行值,不能只检查配置文件。:contentReference[oaicite:1]{index=1}

创建 CDC 用户与测试表

下面的 SQL 创建专用账号、授予连接器所需权限,并准备一张带主键的订单表。请把 <PASSWORD> 替换为强密码;生产环境应将主机范围从 % 收紧为 Flink 节点网段。

sql
CREATE USER IF NOT EXISTS 'flink_cdc'@'%'
IDENTIFIED BY '<PASSWORD>';

GRANT SELECT, SHOW DATABASES, REPLICATION SLAVE, REPLICATION CLIENT
ON *.* TO 'flink_cdc'@'%';

CREATE DATABASE IF NOT EXISTS cdc_demo;
USE cdc_demo;

CREATE TABLE IF NOT EXISTS orders (
    id BIGINT PRIMARY KEY,
    customer_name VARCHAR(64) NOT NULL,
    amount DECIMAL(10, 2) NOT NULL,
    status VARCHAR(20) NOT NULL,
    updated_at TIMESTAMP NOT NULL
        DEFAULT CURRENT_TIMESTAMP
        ON UPDATE CURRENT_TIMESTAMP
);

INSERT INTO orders (id, customer_name, amount, status)
VALUES
    (1001, 'Alice', 99.90, 'CREATED'),
    (1002, 'Bob', 188.00, 'PAID')
ON DUPLICATE KEY UPDATE
    customer_name = VALUES(customer_name),
    amount = VALUES(amount),
    status = VALUES(status);

SELECT id, customer_name, amount, status
FROM orders
ORDER BY id;

预期结果

text
1001  Alice  99.90   CREATED
1002  Bob    188.00  PAID

重复执行时,ON DUPLICATE KEY UPDATE 会覆盖同主键测试数据而不是报错。测试表使用主键是为了让更新和删除事件具有稳定的行标识,也便于后续 Flink 表声明主键。

验证准备结果

依次验证 Binlog 状态、日志格式、实例编号、Binlog 文件、账号授权和测试数据。只要任一关键项不符合预期,就不要继续创建 Flink CDC 数据源。

sql
SHOW VARIABLES
WHERE Variable_name IN (
    'log_bin',
    'binlog_format',
    'binlog_row_image',
    'server_id'
);

SHOW BINARY LOGS;
SHOW GRANTS FOR 'flink_cdc'@'%';

SELECT id, customer_name, amount, status
FROM cdc_demo.orders
ORDER BY id;

预期结果

text
log_bin          ON
binlog_format    ROW
binlog_row_image FULL
server_id        1

Log_name              File_size
mysql-bin.<ID>         <ID>

GRANT SELECT, SHOW DATABASES, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO `flink_cdc`@`%`

1001  Alice  99.90   CREATED
1002  Bob    188.00  PAID

Binlog 文件名、文件大小和授权文本的显示顺序可能不同。验收重点是 log_bin=ON、binlog_format=ROW、server_id 非零,并且账号能够登录和查询目标表。

常见失败处理

log_bin=OFF 通常表示配置文件未被加载、实例通过启动参数关闭了 Binlog,或修改后没有重启。先用 SHOW VARIABLES LIKE 'log_bin'; 确认运行值,再检查 MySQL 启动命令与配置加载路径。

出现 Access denied 时,应分别检查账号主机范围、密码和授权。不要直接改用 root 绕过问题;生产作业使用高权限账号会扩大误操作和凭证泄露的影响范围。

若后续作业报告找不到 Binlog 文件,应延长保留时间并检查作业消费速度。已经被清理的 Binlog 无法通过修改保留参数恢复,只能根据作业启动模式重新做快照或从仍存在的位置恢复。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

准备 MySQL CDC

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通