大数据与流处理 / 系统课时
制造故障后完成恢复
制造故障后完成恢复
CDC 作业真正的可恢复性,需要通过故障演练证明。本节主动中断同步并制造目标端异常,按照“确认现象、定位故障段、恢复服务、核对数据”的顺序处理,重点验证恢复后是否漏数、重复或长期积压。
学习目标
- 根据延迟、作业状态和 Sink 异常判断故障位于哪一段
- 使用 Checkpoint 恢复思路处理一次主动中断
- 通过源端与目标端数据核对判断恢复是否真正完成
先记录健康基线
故障前先记录最近成功 Checkpoint、源端当前进度、目标端关键记录以及正常延迟。没有基线,恢复后只能看到作业重新 Running,却无法证明数据连续性。
如果实验作业运行在 Flink 集群中,可以先查看作业列表:
./bin/flink list预期输出类似下面的结构,其中 Job ID 和时间属于动态值:
------------------ Running/Restarting Jobs -------------------
<TIME> : <ID> : cdc-orders-sync (RUNNING)
--------------------------------------------------------------同时在 Flink Web UI 或监控系统确认最近存在成功的 Checkpoint。生产演练不要在尚无成功 Checkpoint 时直接制造故障,否则无法验证预期的有状态恢复路径。
主动中断并观察恢复边界
在受控实验环境中停止负责该作业的 TaskManager、容器或进程,然后在源数据库继续写入几条带唯一主键的测试记录。这样可以明确区分“故障前已经处理的数据”和“故障期间新增的数据”。
恢复 TaskManager 或重新启动受控组件后,Flink 应根据配置触发作业恢复,并从最近一次成功 Checkpoint 中恢复 Source 状态。Checkpoint 保存的是一个一致性恢复点,并不等同于故障发生瞬间的最新读取位置,因此 Checkpoint 之后处理过的部分事件可能再次经过流水线。

这里最重要的验收点不是“只处理一次”,而是恢复后的最终结果正确。若 Sink 使用主键 Upsert 或事务性机制,重放可以被正确吸收;如果目标端只是无条件追加,重放就可能形成重复数据。
按数据链路定位异常
恢复后仍有延迟时,应从链路两端逐段缩小范围。先确认源数据库仍在产生并保留 CDC 所需日志,再检查 Source 是否继续推进;Source 正常但端到端延迟持续增加时,再看算子 backpressure、Checkpoint 耗时以及 Sink 吞吐。
如果作业 Running、Checkpoint 也能完成,但目标端没有新数据,应优先检查 Sink 和目标系统,而不是立即重置 Source 位点。典型情况包括目标数据库不可达、连接池耗尽、写入被限流以及 Schema 不兼容。
可以再次执行作业列表命令确认恢复后的运行状态:
./bin/flink list预期输出应重新包含目标作业的 RUNNING 状态:
------------------ Running/Restarting Jobs -------------------
<TIME> : <ID> : cdc-orders-sync (RUNNING)
--------------------------------------------------------------RUNNING 只说明调度层已经恢复,不能代替数据验收。还应确认 Checkpoint 重新连续成功,并观察积压或端到端延迟是否逐步下降。
演练目标端异常
第二类故障可以在受控环境中短暂停止目标数据库或阻断测试 Sink 的连接。预期现象通常是 Sink 写入失败、反压向上游传播,或者作业依据重启策略进入恢复过程。此时应保留故障现场信息,不要一看到失败就删除状态重新启动。
恢复目标系统后,首先观察 Sink 是否重新建立连接,然后确认 Source 和下游吞吐恢复。如果积压持续增长,应检查恢复后的写入能力是否低于源端新增速度;仅仅“连接恢复”并不意味着系统已经追平。
用数据核对结束故障演练
最终验收至少选择一组故障前、故障期间和恢复后写入的测试主键,在源端和目标端分别查询。对于订单类表,应核对主键集合以及关键业务字段;数据量较大时可以进一步按时间窗口统计行数,或使用业务允许的校验方法比较内容。
如果发现目标端少记录,应沿缺失记录的源日志位置、Source 消费状态和 Sink 错误继续定位;如果多出重复记录,则重点检查重放发生时 Sink 是否具备幂等语义。只有测试数据全部到达、重复符合预期语义、Checkpoint 恢复稳定且延迟回落到健康范围,才能认为这次恢复演练完成。