大数据与流处理 / 系统课时
准备本地 CDC 实验环境
准备本地 CDC 实验环境
本节完成一个可运行的 Flink CDC 本地实验环境准备。通过启动数据库、配置 Flink CDC 连接参数并验证网络连通性,为后续增量同步和 Schema 演进实验建立基础。
学习目标
- 准备 Flink CDC 实验所需的基础组件
- 使用 Docker 启动本地数据库环境
- 验证数据库日志、网络和连接参数是否可用
实验环境组成
本地 CDC 实验通常包含三个部分:
- MySQL:提供业务数据和变更日志
- Flink:执行 CDC 同步任务
- 目标端:接收处理后的数据
为了降低环境复杂度,可以先使用 Docker 启动 MySQL,再由本机或容器中的 Flink CDC 任务连接数据库。

启动数据库实验容器
下面使用 Docker 启动开启 binlog 的 MySQL 实例。端口、密码等参数可根据本地环境调整。
bash
docker run -d \
--name cdc-mysql \
-e MYSQL_ROOT_PASSWORD=<PASSWORD> \
-p <PORT>:3306 \
mysql:8.0 \
--server-id=1 \
--log-bin=mysql-bin \
--binlog_format=ROW预期输出
text
<CONTAINER_ID>容器启动后,需要确认 MySQL 正常运行。
bash
docker ps --filter name=cdc-mysql预期输出
text
CONTAINER ID IMAGE STATUS
<ID> mysql:8.0 Up <TIME>检查 CDC 必要配置
CDC 依赖数据库提供可读取的变更日志。MySQL 实验环境至少需要确认 binlog 已开启,并使用 ROW 格式记录变化。
进入数据库执行检查:
bash
mysql -h <HOST> -P <PORT> -uroot -p<PASSWORD> -e "SHOW VARIABLES LIKE 'log_bin'; SHOW VARIABLES LIKE 'binlog_format';"预期结果
text
Variable_name Value
log_bin ON
Variable_name Value
binlog_format ROW如果 log_bin 未开启,CDC 无法读取增量变化;如果使用其他 binlog 格式,部分变更信息可能无法满足同步需求。
验证网络和连接参数
Flink CDC 连接数据库前,需要确认以下信息:
| 参数 | 作用 |
|---|---|
| host | 数据库地址 |
| port | 数据库监听端口 |
| username | CDC 使用账号 |
| password | 认证信息 |
| database | 同步范围 |
可以先用客户端测试连接:
bash
mysql -h <HOST> -P <PORT> -u<USER> -p<PASSWORD>预期结果
text
mysql>连接成功说明网络和认证信息可用。若连接失败,应优先检查容器状态、端口映射、防火墙规则以及账号权限。
常见失败处理
数据库启动但 CDC 无法连接时,可以按顺序排查:
- 使用
docker ps确认容器状态。 - 使用端口检查工具确认
<PORT>是否监听。 - 检查 MySQL 用户是否允许远程访问。
- 确认 CDC 配置中的地址和端口与实际环境一致。
实验环境准备完成后,后续同步任务可以直接基于这个数据库产生 INSERT、UPDATE、DELETE 事件,观察 Flink CDC 如何捕获并处理变化。
按自己的节奏,确认真正理解。