大数据与流处理 / 系统课时
整理上线前检查清单
整理上线前检查清单
CDC 作业能在测试环境跑通,并不等于可以直接上线。上线前需要把源库权限、日志保留、Schema 兼容、Checkpoint、监控、恢复和回滚串成一套可执行检查,确保故障发生时不仅能发现问题,还能从明确的状态点恢复。
学习目标
- 建立覆盖源端、作业状态、下游和运维保障的上线检查清单
- 用实际命令验证关键配置,而不是只检查配置文件是否存在
- 明确恢复与回滚所依赖的状态、日志和验证条件
先检查源数据库是否具备持续采集条件
CDC 上线检查应从源端开始。以 MySQL 为例,至少要确认账号权限、binlog 是否开启、日志格式以及保留周期。测试环境数据量小,即使配置存在问题也可能暂时不暴露;生产环境一旦旧 binlog 被清理,历史 Checkpoint 保存的位点可能无法继续读取。
可以先执行一组只读检查。实际账号名、主机和日志文件名会因环境不同而变化。
SHOW VARIABLES WHERE Variable_name IN ('log_bin', 'binlog_format', 'binlog_row_image', 'binlog_expire_logs_seconds');
SHOW GRANTS FOR 'cdc_user'@'%';
SHOW BINARY LOGS;预期结果:log_bin 为 ON,binlog_format 为 ROW;权限结果应包含当前 CDC 连接器所需的读取与复制权限,并且能够列出仍在保留的 binlog。具体日志文件名和保留秒数以生产环境配置为准。
log_bin ON
binlog_format ROW
binlog_row_image FULL
binlog_expire_logs_seconds <TIME>
...
binlog.000150 <SIZE>
binlog.000151 <SIZE>这里不要只问“binlog 保留了几天”,还要把保留窗口与最长可能恢复时间比较。若一次严重故障可能两天后才恢复,而源端只保留一天日志,即使 Checkpoint 本身完好,也可能因为对应日志已经删除而无法续读。
沿数据链路逐项确认
上线检查不是若干互不相关的勾选项,而是一条从源端状态一直延伸到恢复与回滚的依赖链。前一个环节失效,后面的恢复能力可能随之失效。

Schema 检查要同时覆盖当前结构和预期变更。源表新增、删除、重命名字段或修改类型后,CDC Source 能否表达变化、中间转换是否仍兼容、Sink 是否接受新结构,都应在上线前确认。尤其不要把“当前 Schema 一致”误认为“上线后 Schema 一定安全”。
Sink 侧则需要确认主键或唯一键语义、重复事件处理以及写入失败行为。发生故障恢复时,一部分事件可能再次处理;如果目标端只能追加而不能按业务键幂等写入,就要明确重复数据如何避免或清理。
把状态和恢复能力一起验收
Checkpoint 开启并不等于已经具备恢复能力。上线前应确认 Checkpoint 能持续成功、状态存储位于可靠持久化位置,并实际执行一次故障恢复演练。恢复后要验证 Source 位点、下游数据和作业状态,而不是只看任务重新变成 Running。
一份可执行的状态检查至少包含这些问题:
- 最近一段时间是否持续产生成功的 Checkpoint,失败率和耗时是否异常。
- Checkpoint 或 Savepoint 存储是否独立于临时容器和本地易失磁盘。
- 从最近成功状态恢复后,源端对应的 binlog 是否仍然存在。
- 恢复期间发生重复读取时,Sink 是否能够保持业务结果正确。
- 状态不兼容时,是否已经定义重新快照、数据校验和切换方案。
为监控设置可行动的信号
监控不能只判断 JobManager 或 TaskManager 是否存活。CDC 的典型问题往往表现为作业仍在运行,但数据已经停止推进或延迟不断扩大,因此至少需要覆盖端到端延迟、Source 读取、反压、Checkpoint 和 Sink 写入。
告警还应回答“收到以后做什么”。例如端到端延迟升高后,先区分源端日志积压、Flink 反压、Checkpoint 异常还是 Sink 变慢;Checkpoint 连续失败时,应检查失败原因以及最后成功状态距离当前有多远。只有指标没有处置路径,值班人员仍然无法快速定位。
日志同样要能关联一次故障。生产部署应确保关键异常、Checkpoint 失败、Source 读取错误和 Sink 写入错误不会因为容器重建而立即丢失,并为日志设置合理的保留与轮转策略。
上线前执行最终清单
真正进入发布窗口前,可以由发布人与值班人员共同逐项确认:
- 权限:生产 CDC 账号遵循最小权限原则,并已实际连接验证。
- 日志:binlog 已开启且格式正确,保留窗口覆盖预期最长恢复时间。
- Schema:当前源表与目标表兼容,已明确新增列、类型变化、删除和重命名等变更策略。
- 状态:Checkpoint 持续成功,状态存储可靠,恢复所需凭据和路径可访问。
- 下游:主键、Upsert 或其他幂等机制与 CDC 事件语义匹配。
- 监控:延迟、吞吐、反压、Checkpoint、Source 和 Sink 异常均有指标或日志入口,并配置必要告警。
- 恢复:已经从真实可用的 Checkpoint 或 Savepoint 完成过恢复演练,并校验恢复后的数据连续性。
- 回滚:旧版本制品仍可取得,明确新旧版本的状态兼容性以及无法直接恢复时的替代方案。
最后再确认负责人和操作边界:谁决定停止新版本、谁执行恢复、如何判断数据已经追平、什么条件触发回滚。CDC 上线检查的目标不是得到一张全部打勾的表,而是证明从正常运行到故障发现、状态恢复和版本回退的整条链路都已经有可执行且验证过的路径。