大数据与流处理 / 系统课时
判断快照会不会影响线上库
判断快照会不会影响线上库
首次启动 Flink CDC 作业时,历史数据通常需要先通过快照读取,再衔接后续变更日志。真正需要评估的不是“会不会锁表”这一句话,而是快照读取会给线上数据库增加多少扫描、连接、磁盘 I/O 和网络压力,以及这些压力是否会挤占业务请求的资源。
学习目标
- 理解首次快照与后续增量读取之间的关系
- 判断快照可能给线上数据库带来的主要资源压力
- 通过指标和受控验证决定合适的启动时机
快照阶段实际在做什么
以 MySQL CDC 为例,作业首次读取已有表时,需要建立一个能够与后续 binlog 位置衔接的一致性快照。启用增量快照后,大表会被拆成多个 chunk 逐块读取,而不是要求一次长时间锁住整张表完成全部历史数据扫描。

快照阶段的主要成本仍然落在源库:读取大量数据页会消耗磁盘吞吐并改变 Buffer Pool 命中情况;扫描会占用 CPU;结果集需要经过数据库连接和网络发送。表越大、业务本身越接近资源上限,首次快照越值得谨慎安排。
先估算而不是直接上线
可以先从表规模和数据库当前负载建立基线。下面以 MySQL 为例查询目标表的近似行数和数据大小;information_schema.TABLES 中的 TABLE_ROWS 对 InnoDB 通常是估算值,适合容量判断,不应当当作精确计数。
SELECT
TABLE_SCHEMA,
TABLE_NAME,
TABLE_ROWS,
ROUND(DATA_LENGTH / 1024 / 1024, 2) AS data_mb
FROM information_schema.TABLES
WHERE TABLE_SCHEMA = 'app_db'
AND TABLE_NAME = 'orders';预期结果
+--------------+------------+------------+----------+
| TABLE_SCHEMA | TABLE_NAME | TABLE_ROWS | data_mb |
+--------------+------------+------------+----------+
| app_db | orders | <ID> | <ID> |
+--------------+------------+------------+----------+实际行数和容量取决于线上表,因此使用 <ID> 表示动态值。容量只是第一层判断,还应同时观察数据库 CPU、磁盘 I/O、连接数、查询延迟和网络吞吐;如果这些指标在业务高峰已经逼近容量边界,不应把首次全量快照当成普通增量任务直接启动。
用参数控制读取强度
对于支持增量快照的 MySQL CDC Source,可以通过 chunk 大小和读取批次等参数调节扫描行为。下面是 Flink SQL 的片段示例,依赖已经部署兼容版本的 MySQL CDC connector,并假设源表具有适合作为 chunk key 的主键 id。
CREATE TABLE orders_source (
id BIGINT,
status STRING,
amount DECIMAL(12, 2),
PRIMARY KEY (id) NOT ENFORCED
) WITH (
'connector' = 'mysql-cdc',
'hostname' = '<HOST>',
'port' = '3306',
'username' = 'cdc_user',
'password' = '<PASSWORD>',
'database-name' = 'app_db',
'table-name' = 'orders',
'scan.incremental.snapshot.enabled' = 'true',
'scan.incremental.snapshot.chunk.size' = '8096',
'scan.snapshot.fetch.size' = '1024'
);这是配置定义,不会直接产生业务数据输出。生效后,首次快照会按照 connector 的增量快照机制分块读取;具体可用参数及默认值应以当前部署的 Flink CDC connector 版本为准。验证时应在测试或受控环境启动实际读取,并同时观察源库指标,而不是仅凭 DDL 创建成功判断安全。
上线前做一次受控验证
最稳妥的判断方式是选择与生产数据量和索引结构接近的表,在低峰期启动快照并记录基线与峰值。如果数据库查询延迟、磁盘利用率或 CPU 出现不可接受的抬升,应先降低读取强度、缩小同步范围,或者把首次快照移到更低负载的时间窗口。
还要区分首次启动和恢复:已经完成快照并从有效 checkpoint 或 savepoint 恢复的作业,通常不应重新扫描全部历史数据。若删除状态后重新以初始模式启动,则可能再次触发快照,因此运维操作本身也会改变源库压力。
判断快照是否会影响线上库,最终应落到可测量的容量问题:先确认需要扫描多少数据,再确认线上剩余多少资源,最后用受控启动验证实际增量。这样比单纯依据“CDC 是在线读取”或“增量快照不锁表”来判断风险可靠得多。