大数据与流处理 / 系统课时

跑通快照到增量切换

跑通快照到增量切换

首次启动 CDC 作业时,既要同步启动前已经存在的订单,又要持续接住启动后的修改。本篇通过一次可验证实验观察初始快照进入增量读取的过程,并重点检查切换边界有没有遗漏或重复。

学习目标

  • 区分初始快照数据与后续增量变更
  • 用可控写入验证快照到 binlog 读取的连续性
  • 判断目标结果是否满足完整性与最终一致性要求

准备可识别的基线数据

实验开始前,先在源库放入两条容易辨认的订单。这样作业启动后,可以明确区分哪些记录来自已有数据,哪些变化发生在同步过程中。

sql
CREATE DATABASE IF NOT EXISTS cdc_demo;
USE cdc_demo;

CREATE TABLE orders (
    id BIGINT PRIMARY KEY,
    status VARCHAR(32) NOT NULL,
    amount DECIMAL(10, 2) NOT NULL
);

INSERT INTO orders (id, status, amount) VALUES
    (1001, 'CREATED', 99.00),
    (1002, 'CREATED', 149.00);

SELECT id, status, amount FROM orders ORDER BY id;

预期结果:查询首先得到两条基线订单。

text
1001  CREATED  99.00
1002  CREATED  149.00

如果表已经存在,应先确认实验环境中的数据不会与这些主键冲突,不要在生产库直接执行这组测试 SQL。

理解切换边界

初始快照并不是“先随便查完整张表,再从当前时刻开始监听”。CDC Source 必须建立快照数据与数据库变更日志之间的衔接关系,才能处理快照读取期间仍在发生的写入。

快照到增量阶段的连续切换

因此,验证重点不是寻找一个肉眼可见的“切换瞬间”,而是检查边界两侧的数据最终是否连续。实际实现可能采用分块快照等机制,但验收原则不变:已有数据要进入结果,快照期间和之后发生的变更也不能丢。

在运行期间制造增量变化

启动已配置好 Checkpoint 和目标 Sink 的 CDC 作业后,在快照进行期间或完成后尽快执行一组具有明显结果的变更。这里新增 1003,同时修改已有订单 1001。

sql
USE cdc_demo;

INSERT INTO orders (id, status, amount)
VALUES (1003, 'CREATED', 299.00);

UPDATE orders
SET status = 'PAID'
WHERE id = 1001;

SELECT id, status, amount FROM orders ORDER BY id;

预期结果:源库最终状态包含三条订单,其中 1001 已变为 PAID。

text
1001  PAID     99.00
1002  CREATED  149.00
1003  CREATED  299.00

这组操作同时覆盖“快照中已经存在的记录被更新”和“运行期间新增记录”两种情况,比只插入一条新数据更容易暴露切换边界问题。

核对目标端最终状态

等待 CDC 作业追平后,在目标端查询相同主键。目标表名按实际环境替换;下面假设目标表为 dw_orders。

sql
SELECT id, status, amount
FROM dw_orders
WHERE id IN (1001, 1002, 1003)
ORDER BY id;

预期结果:若目标采用按主键 Upsert 的当前态模型,应得到与源端一致的三条最终记录。

text
1001  PAID     99.00
1002  CREATED  149.00
1003  CREATED  299.00

不要仅用“目标有三行”判断成功。还要核对 1001 是否已经是最新状态、1003 是否出现,以及每个主键是否只有一个当前版本。若使用的是保留 changelog 历史的目标模型,则应改为检查事件序列,而不是要求只有三行。

出现不连续时怎么定位

如果基线订单缺失,先检查快照表选择规则和快照阶段是否真正完成;如果新插入的 1003 缺失,则重点检查增量日志读取是否启动、数据库日志配置及 Source 是否持续运行;如果 1001 出现多个当前版本,则检查目标主键和 Sink 写入语义。

完成这组实验后,判断标准应从“作业启动成功”提升到“启动前数据、切换期间变化和后续增量都能形成正确的目标状态”。只有这条连续性得到验证,快照到实时增量的链路才算真正跑通。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

跑通快照到增量切换

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通