大数据与流处理 / 系统课时
用主键保证下游幂等
用主键保证下游幂等
CDC 作业可能因失败恢复、重试或上游重复投递再次处理同一业务记录。如果下游只做追加写入,重复事件会直接变成重复数据。本课用 Flink SQL 的主键与 Upsert 语义,把同一业务主键的多次变更收敛到同一目标记录,并验证重复写入后的结果。
学习目标
- 理解主键为什么是 Upsert 幂等写入的基础
- 能用 Flink SQL 定义带主键的 CDC 下游表
- 能验证重复事件和恢复后的再次写入是否产生重复记录
幂等依赖稳定的业务主键
所谓幂等,不是让事件只出现一次,而是让同一业务变更被处理多次后,下游最终状态仍然一致。CDC 链路通常只能做到至少一次处理,因此作业在 checkpoint 恢复后可能重新消费部分事件。
假设订单 id=1001 先后经历金额修改和状态更新。如果目标端按 INSERT 追加三行,就无法表示“当前订单”;如果以 id 为键执行 Upsert,则相同键的新值覆盖旧值,目标端始终保留该订单的最新状态。

主键必须来自稳定的业务身份。订单号、用户 ID 等通常适合;会随业务修改的状态、时间戳或金额不适合作为幂等键。若源表使用联合主键,下游也应保留能够唯一定位记录的完整键集合。
用 Flink SQL 声明主键
下面以 MySQL CDC 作为源、支持 Upsert 的 JDBC 目标表作为示例。Flink SQL 中 CDC 表的主键通常声明为 PRIMARY KEY (...) NOT ENFORCED,表示 Flink 使用该约束推导变更语义,但不会像传统数据库一样在运行时替你检查唯一性。
CREATE TABLE source_orders (
id BIGINT,
amount DECIMAL(10, 2),
status STRING,
PRIMARY KEY (id) NOT ENFORCED
) WITH (
'connector' = 'mysql-cdc',
'hostname' = '<HOST>',
'port' = '<PORT>',
'username' = 'flink',
'password' = '<PASSWORD>',
'database-name' = 'shop',
'table-name' = 'orders'
);
CREATE TABLE sink_orders (
id BIGINT,
amount DECIMAL(10, 2),
status STRING,
PRIMARY KEY (id) NOT ENFORCED
) WITH (
'connector' = 'jdbc',
'url' = 'jdbc:mysql://<HOST>:<PORT>/warehouse',
'table-name' = 'orders_current',
'username' = 'flink',
'password' = '<PASSWORD>'
);
INSERT INTO sink_orders
SELECT id, amount, status
FROM source_orders;这里的 <HOST>、<PORT> 和 <PASSWORD> 需要替换为实际连接信息。配置文件与连接器依赖准备完成后,作业会把同一 id 的更新作为 keyed change 写向目标,而不是把每个版本都当作互不相关的新行。
预期结果
source_orders 中 id=<ID> 的 INSERT/UPDATE/DELETE 会按主键传播到 sink_orders;同一主键的后续更新定位同一目标记录,而不是生成新的业务主键。具体 JDBC 驱动如何执行更新或删除由连接器和目标数据库决定,因此不要把 NOT ENFORCED 理解成数据库唯一约束。目标数据库仍应建立真实的主键或唯一约束,避免其他写入方制造重复数据。
验证重复写入后的最终状态
可以直接在目标数据库检查某个业务键是否只对应一条记录。下面的查询同时检查当前值和重复行数量。
SELECT id, amount, status
FROM orders_current
WHERE id = 1001;
SELECT id, COUNT(*) AS row_count
FROM orders_current
WHERE id = 1001
GROUP BY id;预期结果
id amount status
1001 99.00 PAID
id row_count
1001 1示例中的金额和状态以测试数据为准,实际值可能不同;关键断言是 row_count 保持为 1。可以在源端对 id=1001 连续更新数次,再重启 Flink 作业并从有效 checkpoint 恢复,随后重复查询目标表。
重启恢复时检查什么
恢复测试不能只看作业重新进入 RUNNING。真正需要验证的是:旧事件即使因恢复边界再次经过链路,也不会在目标端制造第二条相同业务记录;后续的新更新仍能覆盖同一主键对应的状态。
因此,CDC 幂等设计要同时满足三个条件:源事件具有稳定且唯一的业务键,Flink 表正确声明该键,下游存储和连接器能够按键执行 Upsert。测试时再加入失败恢复与重复处理场景,才能确认幂等不是只在正常运行时成立。