大数据与流处理 / 系统课时

设计一套订单同步拓扑

设计一套订单同步拓扑

订单 CDC 上线前,先把“同步哪些表、写到哪里、如何覆盖更新、失败后从哪里恢复”设计清楚。本篇以订单主表和明细表为例,形成一套可实施、可验证且支持故障恢复的 Flink CDC 拓扑。

学习目标

  • 根据业务边界确定 CDC 表范围与目标模型
  • 为订单数据选择与主键匹配的写入语义
  • 把 Checkpoint、源端日志保留和恢复路径纳入拓扑设计

先确定同步边界

假设源库 shop 有 orders 与 order_items 两张核心表。订单状态、金额在创建后仍会更新,明细也可能发生修正,因此不能把 CDC 当成只追加的数据导入任务。

目标端采用与业务实体对应的 dw_orders、dw_order_items。两张目标表都保留稳定主键,使同一业务记录的 INSERT、UPDATE 和重复事件能够落到同一行,而不是不断追加副本。

sql
CREATE TABLE dw_orders (
    id BIGINT PRIMARY KEY,
    customer_id BIGINT NOT NULL,
    status VARCHAR(32) NOT NULL,
    total_amount DECIMAL(12, 2) NOT NULL,
    updated_at TIMESTAMP NOT NULL
);

CREATE TABLE dw_order_items (
    id BIGINT PRIMARY KEY,
    order_id BIGINT NOT NULL,
    product_id BIGINT NOT NULL,
    quantity INT NOT NULL,
    updated_at TIMESTAMP NOT NULL
);

预期结果:目标库成功创建两张具有稳定主键的表,后续 Sink 可以依据主键执行更新或 Upsert。具体数据库显示文本可能不同。

text
dw_orders created
dw_order_items created

把数据流和恢复路径放在同一张图里

完整拓扑不只是“数据库到数据库”。运行期间至少要同时考虑源数据库、CDC Source、Flink 作业、状态存储和目标端;恢复时还必须保证 Checkpoint 中保存的日志位置仍能在源端找到。

订单 CDC 同步与恢复拓扑

这里有两个不同的持久化对象。目标数据库保存业务同步结果;Checkpoint 保存 Flink 作业状态和 Source 读取位置。只备份目标表并不能让 CDC 在故障后知道应该从哪一条增量日志继续读取。

选择与变更模型匹配的写入语义

订单属于典型的可变实体。假设 id=1001 的订单状态从 CREATED 更新为 PAID,目标端应该覆盖同一主键的当前状态。若 Sink 采用纯追加语义,就可能同时留下两个版本,破坏“当前订单表”的含义。

因此设计时要明确三种变化:INSERT 创建目标行,UPDATE 按稳定主键更新现有行,DELETE 根据业务要求删除目标行或转换成软删除状态。具体 Sink 是否原生支持 Upsert 和 DELETE,需要按实际连接器能力确认。

把恢复条件写进设计

开启 Checkpoint 后,Flink CDC 可以把读取位置随状态一起持久化。故障恢复时,从最近成功的 Checkpoint 恢复,比无状态重新启动更容易保持增量连续性。但这个能力有一个外部前提:源数据库不能已经清理恢复点所需的 binlog。

设计阶段应同时确定 Checkpoint 存储的持久化位置、可接受的恢复时间,以及源端日志保留窗口。日志保留时间至少应覆盖预期最长停机与人工处置时间,并留出安全余量。

验收时不要只看作业是否显示 Running。应插入一条订单、更新其状态,再确认目标端同一主键只有一条最新记录;随后制造一次可恢复故障,从最近成功状态恢复,并再次更新订单。最终目标表应保持连续且不存在因重放产生的重复主键记录。

一套真正可恢复的订单 CDC 拓扑,需要同时闭合四件事:明确同步边界、保持稳定记录身份、使用正确的更新语义,以及让 Checkpoint 中的读取位置与源端日志保留策略相互匹配。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

设计一套订单同步拓扑

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通