大数据与流处理 / 系统课时

准备本地 CDC 实验环境

准备本地 CDC 实验环境

本节完成一个可运行的 Flink CDC 本地实验环境准备。通过启动数据库、配置 Flink CDC 连接参数并验证网络连通性,为后续增量同步和 Schema 演进实验建立基础。

学习目标

  • 准备 Flink CDC 实验所需的基础组件
  • 使用 Docker 启动本地数据库环境
  • 验证数据库日志、网络和连接参数是否可用

实验环境组成

本地 CDC 实验通常包含三个部分:

  • MySQL:提供业务数据和变更日志
  • Flink:执行 CDC 同步任务
  • 目标端:接收处理后的数据

为了降低环境复杂度,可以先使用 Docker 启动 MySQL,再由本机或容器中的 Flink CDC 任务连接数据库。

CDC 本地实验环境拓扑图

启动数据库实验容器

下面使用 Docker 启动开启 binlog 的 MySQL 实例。端口、密码等参数可根据本地环境调整。

bash
docker run -d \
  --name cdc-mysql \
  -e MYSQL_ROOT_PASSWORD=<PASSWORD> \
  -p <PORT>:3306 \
  mysql:8.0 \
  --server-id=1 \
  --log-bin=mysql-bin \
  --binlog_format=ROW

预期输出

text
<CONTAINER_ID>

容器启动后,需要确认 MySQL 正常运行。

bash
docker ps --filter name=cdc-mysql

预期输出

text
CONTAINER ID   IMAGE       STATUS
<ID>           mysql:8.0   Up <TIME>

检查 CDC 必要配置

CDC 依赖数据库提供可读取的变更日志。MySQL 实验环境至少需要确认 binlog 已开启,并使用 ROW 格式记录变化。

进入数据库执行检查:

bash
mysql -h <HOST> -P <PORT> -uroot -p<PASSWORD> -e "SHOW VARIABLES LIKE 'log_bin'; SHOW VARIABLES LIKE 'binlog_format';"

预期结果

text
Variable_name    Value
log_bin          ON

Variable_name    Value
binlog_format    ROW

如果 log_bin 未开启,CDC 无法读取增量变化;如果使用其他 binlog 格式,部分变更信息可能无法满足同步需求。

验证网络和连接参数

Flink CDC 连接数据库前,需要确认以下信息:

参数 作用
host 数据库地址
port 数据库监听端口
username CDC 使用账号
password 认证信息
database 同步范围

可以先用客户端测试连接:

bash
mysql -h <HOST> -P <PORT> -u<USER> -p<PASSWORD>

预期结果

text
mysql>

连接成功说明网络和认证信息可用。若连接失败,应优先检查容器状态、端口映射、防火墙规则以及账号权限。

常见失败处理

数据库启动但 CDC 无法连接时,可以按顺序排查:

  1. 使用 docker ps 确认容器状态。
  2. 使用端口检查工具确认 <PORT> 是否监听。
  3. 检查 MySQL 用户是否允许远程访问。
  4. 确认 CDC 配置中的地址和端口与实际环境一致。

实验环境准备完成后,后续同步任务可以直接基于这个数据库产生 INSERT、UPDATE、DELETE 事件,观察 Flink CDC 如何捕获并处理变化。

按自己的节奏,确认真正理解。

目录与阅读设置

记录一个想法

准备本地 CDC 实验环境

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通