大数据与流处理 / 系统课时
跑通快照到增量切换
跑通快照到增量切换
首次启动 CDC 作业时,既要同步启动前已经存在的订单,又要持续接住启动后的修改。本篇通过一次可验证实验观察初始快照进入增量读取的过程,并重点检查切换边界有没有遗漏或重复。
学习目标
- 区分初始快照数据与后续增量变更
- 用可控写入验证快照到 binlog 读取的连续性
- 判断目标结果是否满足完整性与最终一致性要求
准备可识别的基线数据
实验开始前,先在源库放入两条容易辨认的订单。这样作业启动后,可以明确区分哪些记录来自已有数据,哪些变化发生在同步过程中。
CREATE DATABASE IF NOT EXISTS cdc_demo;
USE cdc_demo;
CREATE TABLE orders (
id BIGINT PRIMARY KEY,
status VARCHAR(32) NOT NULL,
amount DECIMAL(10, 2) NOT NULL
);
INSERT INTO orders (id, status, amount) VALUES
(1001, 'CREATED', 99.00),
(1002, 'CREATED', 149.00);
SELECT id, status, amount FROM orders ORDER BY id;预期结果:查询首先得到两条基线订单。
1001 CREATED 99.00
1002 CREATED 149.00如果表已经存在,应先确认实验环境中的数据不会与这些主键冲突,不要在生产库直接执行这组测试 SQL。
理解切换边界
初始快照并不是“先随便查完整张表,再从当前时刻开始监听”。CDC Source 必须建立快照数据与数据库变更日志之间的衔接关系,才能处理快照读取期间仍在发生的写入。

因此,验证重点不是寻找一个肉眼可见的“切换瞬间”,而是检查边界两侧的数据最终是否连续。实际实现可能采用分块快照等机制,但验收原则不变:已有数据要进入结果,快照期间和之后发生的变更也不能丢。
在运行期间制造增量变化
启动已配置好 Checkpoint 和目标 Sink 的 CDC 作业后,在快照进行期间或完成后尽快执行一组具有明显结果的变更。这里新增 1003,同时修改已有订单 1001。
USE cdc_demo;
INSERT INTO orders (id, status, amount)
VALUES (1003, 'CREATED', 299.00);
UPDATE orders
SET status = 'PAID'
WHERE id = 1001;
SELECT id, status, amount FROM orders ORDER BY id;预期结果:源库最终状态包含三条订单,其中 1001 已变为 PAID。
1001 PAID 99.00
1002 CREATED 149.00
1003 CREATED 299.00这组操作同时覆盖“快照中已经存在的记录被更新”和“运行期间新增记录”两种情况,比只插入一条新数据更容易暴露切换边界问题。
核对目标端最终状态
等待 CDC 作业追平后,在目标端查询相同主键。目标表名按实际环境替换;下面假设目标表为 dw_orders。
SELECT id, status, amount
FROM dw_orders
WHERE id IN (1001, 1002, 1003)
ORDER BY id;预期结果:若目标采用按主键 Upsert 的当前态模型,应得到与源端一致的三条最终记录。
1001 PAID 99.00
1002 CREATED 149.00
1003 CREATED 299.00不要仅用“目标有三行”判断成功。还要核对 1001 是否已经是最新状态、1003 是否出现,以及每个主键是否只有一个当前版本。若使用的是保留 changelog 历史的目标模型,则应改为检查事件序列,而不是要求只有三行。
出现不连续时怎么定位
如果基线订单缺失,先检查快照表选择规则和快照阶段是否真正完成;如果新插入的 1003 缺失,则重点检查增量日志读取是否启动、数据库日志配置及 Source 是否持续运行;如果 1001 出现多个当前版本,则检查目标主键和 Sink 写入语义。
完成这组实验后,判断标准应从“作业启动成功”提升到“启动前数据、切换期间变化和后续增量都能形成正确的目标状态”。只有这条连续性得到验证,快照到实时增量的链路才算真正跑通。