大数据与流处理 / 系统课时

用主键保证下游幂等

用主键保证下游幂等

CDC 作业可能因失败恢复、重试或上游重复投递再次处理同一业务记录。如果下游只做追加写入,重复事件会直接变成重复数据。本课用 Flink SQL 的主键与 Upsert 语义,把同一业务主键的多次变更收敛到同一目标记录,并验证重复写入后的结果。

学习目标

  • 理解主键为什么是 Upsert 幂等写入的基础
  • 能用 Flink SQL 定义带主键的 CDC 下游表
  • 能验证重复事件和恢复后的再次写入是否产生重复记录

幂等依赖稳定的业务主键

所谓幂等,不是让事件只出现一次,而是让同一业务变更被处理多次后,下游最终状态仍然一致。CDC 链路通常只能做到至少一次处理,因此作业在 checkpoint 恢复后可能重新消费部分事件。

假设订单 id=1001 先后经历金额修改和状态更新。如果目标端按 INSERT 追加三行,就无法表示“当前订单”;如果以 id 为键执行 Upsert,则相同键的新值覆盖旧值,目标端始终保留该订单的最新状态。

主键驱动的 Upsert 幂等写入

主键必须来自稳定的业务身份。订单号、用户 ID 等通常适合;会随业务修改的状态、时间戳或金额不适合作为幂等键。若源表使用联合主键,下游也应保留能够唯一定位记录的完整键集合。

用 Flink SQL 声明主键

下面以 MySQL CDC 作为源、支持 Upsert 的 JDBC 目标表作为示例。Flink SQL 中 CDC 表的主键通常声明为 PRIMARY KEY (...) NOT ENFORCED,表示 Flink 使用该约束推导变更语义,但不会像传统数据库一样在运行时替你检查唯一性。

sql
CREATE TABLE source_orders (
  id BIGINT,
  amount DECIMAL(10, 2),
  status STRING,
  PRIMARY KEY (id) NOT ENFORCED
) WITH (
  'connector' = 'mysql-cdc',
  'hostname' = '<HOST>',
  'port' = '<PORT>',
  'username' = 'flink',
  'password' = '<PASSWORD>',
  'database-name' = 'shop',
  'table-name' = 'orders'
);

CREATE TABLE sink_orders (
  id BIGINT,
  amount DECIMAL(10, 2),
  status STRING,
  PRIMARY KEY (id) NOT ENFORCED
) WITH (
  'connector' = 'jdbc',
  'url' = 'jdbc:mysql://<HOST>:<PORT>/warehouse',
  'table-name' = 'orders_current',
  'username' = 'flink',
  'password' = '<PASSWORD>'
);

INSERT INTO sink_orders
SELECT id, amount, status
FROM source_orders;

这里的 <HOST>、<PORT> 和 <PASSWORD> 需要替换为实际连接信息。配置文件与连接器依赖准备完成后,作业会把同一 id 的更新作为 keyed change 写向目标,而不是把每个版本都当作互不相关的新行。

预期结果

text
source_orders 中 id=<ID> 的 INSERT/UPDATE/DELETE 会按主键传播到 sink_orders;同一主键的后续更新定位同一目标记录,而不是生成新的业务主键。

具体 JDBC 驱动如何执行更新或删除由连接器和目标数据库决定,因此不要把 NOT ENFORCED 理解成数据库唯一约束。目标数据库仍应建立真实的主键或唯一约束,避免其他写入方制造重复数据。

验证重复写入后的最终状态

可以直接在目标数据库检查某个业务键是否只对应一条记录。下面的查询同时检查当前值和重复行数量。

sql
SELECT id, amount, status
FROM orders_current
WHERE id = 1001;

SELECT id, COUNT(*) AS row_count
FROM orders_current
WHERE id = 1001
GROUP BY id;

预期结果

text
id    amount    status
1001  99.00     PAID

id    row_count
1001  1

示例中的金额和状态以测试数据为准,实际值可能不同;关键断言是 row_count 保持为 1。可以在源端对 id=1001 连续更新数次,再重启 Flink 作业并从有效 checkpoint 恢复,随后重复查询目标表。

重启恢复时检查什么

恢复测试不能只看作业重新进入 RUNNING。真正需要验证的是:旧事件即使因恢复边界再次经过链路,也不会在目标端制造第二条相同业务记录;后续的新更新仍能覆盖同一主键对应的状态。

因此,CDC 幂等设计要同时满足三个条件:源事件具有稳定且唯一的业务键,Flink 表正确声明该键,下游存储和连接器能够按键执行 Upsert。测试时再加入失败恢复与重复处理场景,才能确认幂等不是只在正常运行时成立。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

用主键保证下游幂等

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通