大数据与流处理 / 系统课时

全量与增量衔接

全量与增量衔接

CDC 作业不能简单地“先查全表、再读 Binlog”,否则切换窗口内很容易丢数据或重复数据。本课用增量快照说明 Flink CDC 如何把分块全量读取与日志消费衔接起来,并给出可验证的 Flink SQL 示例。

学习目标

  • 解释增量快照中的分片、低水位和高水位
  • 理解快照记录与 Binlog 事件如何合并
  • 能配置并验证全量阶段到增量阶段的平滑切换

为什么不能直接拼接两次读取

假设全量查询在 10:00 开始、10:05 结束,而 Binlog 从 10:05 才开始消费,那么 10:00~10:05 发生的更新会永久丢失。反过来,如果 Binlog 从 10:00 开始读取,但全量结果也包含更新后的记录,下游又可能收到重复或乱序状态。

正确做法不是寻找一个“绝对静止”的数据库时刻,而是为每个快照分片记录日志边界,再利用边界内的变更事件修正快照结果。这样既能减少长时间锁表,又能保证切换时数据连续。

增量快照与 Binlog 衔接流程

增量快照的工作机制

Flink CDC 通常先根据主键或可分块字段把表划分为多个快照分片。每个分片独立处理,因此不同分片可以并行读取,失败时也只需恢复未完成的部分。

读取一个分片时,连接器先记录低水位,也就是当前 Binlog 位点;随后查询该主键范围内的快照;查询结束后再记录高水位。低水位与高水位之间产生的 Binlog 事件会被缓存并回放,用于覆盖已更新记录、删除已移除记录,从而得到该分片在一致边界上的最终结果。

所有快照分片完成后,协调器选择安全的日志起点,把作业切换为持续 Binlog 消费。对下游而言,数据流不会中断,但记录会从“初始化写入”逐渐转为新增、更新和删除事件。

配置一个可验证的 CDC 作业

下面示例在 Flink SQL Client 中读取 MySQL shop.products 表,并把变更打印到终端。实际连接参数请替换为可访问的数据库信息。

sql
CREATE TABLE products_cdc (
    id BIGINT,
    name STRING,
    price DECIMAL(10, 2),
    updated_at TIMESTAMP(3),
    PRIMARY KEY (id) NOT ENFORCED
) WITH (
    'connector' = 'mysql-cdc',
    'hostname' = '<HOST>',
    'port' = '<PORT>',
    'username' = '<USER>',
    'password' = '<PASSWORD>',
    'database-name' = 'shop',
    'table-name' = 'products',
    'scan.incremental.snapshot.enabled' = 'true',
    'scan.incremental.snapshot.chunk.size' = '8096'
);

CREATE TABLE products_print (
    id BIGINT,
    name STRING,
    price DECIMAL(10, 2),
    updated_at TIMESTAMP(3),
    PRIMARY KEY (id) NOT ENFORCED
) WITH (
    'connector' = 'print'
);

INSERT INTO products_print
SELECT id, name, price, updated_at
FROM products_cdc;

预期结果

text
+I[1, Keyboard, 299.00, <TIME>]
-U[1, Keyboard, 299.00, <TIME>]
+U[1, Mechanical Keyboard, 399.00, <TIME>]

+I 表示初始化或新增记录,-U 与 +U 表示更新前后镜像。具体前缀和时间格式可能随 Flink 版本与打印连接器实现略有不同,但同一主键的最新状态应与 MySQL 一致。

如何验证衔接没有丢失

只比较总行数不够,因为更新和删除不会必然改变行数。更可靠的验收方式是按主键比较源表与下游的最新状态,并在快照期间主动制造新增、更新、删除三类操作。

还应执行一次带 Checkpoint 的故障恢复测试:在快照尚未完成时重启作业,确认已完成分片不会被错误重复提交,未完成分片能够继续执行,进入增量阶段后 Binlog 位点持续前进。

观察日志时重点关注快照分片完成数量、当前 Binlog 位点、反序列化异常和下游写入失败。若源表没有稳定主键、存在超大事务,或下游写入不具备幂等性,即使源端衔接正确,也可能出现性能下降或重复结果。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

全量与增量衔接

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通