大数据与流处理 / 系统课时

主键变化为什么更危险

主键变化为什么更危险

普通字段变化通常只影响一列数据,而主键决定一条变更记录代表“哪个业务对象”。在 Flink CDC 链路中修改主键,会同时影响 CDC 事件语义、Flink 的键控状态、Upsert 更新方式和下游表的唯一性约束,因此不能把它当成普通 DDL 直接在线执行。

学习目标

  • 理解主键与 CDC 更新、删除事件之间的关系
  • 判断新增、删除和修改主键可能破坏哪些状态与下游语义
  • 掌握更安全的主键迁移思路和验证方法

主键不只是数据库约束

在增量同步链路中,主键承担的是记录身份。例如订单表以 id 为主键,下游收到同一个 id 的多次变化时,才能把它们理解为同一订单的连续更新,而不是多条互不相关的数据。

主键贯穿 CDC 状态与下游 Upsert 的关系图

以最小表结构观察这种关系。下面的 SQL 可以在支持 MySQL 语法的测试数据库中执行:

sql
CREATE TABLE orders (
    id BIGINT NOT NULL,
    order_no VARCHAR(32) NOT NULL,
    status VARCHAR(16) NOT NULL,
    PRIMARY KEY (id),
    UNIQUE KEY uk_order_no (order_no)
);

INSERT INTO orders (id, order_no, status)
VALUES (42, 'ORD-2026-00042', 'CREATED');

UPDATE orders SET status = 'PAID' WHERE id = 42;

SELECT id, order_no, status FROM orders WHERE id = 42;

预期输出:

text
42  ORD-2026-00042  PAID

实际客户端的列框线和提示文字可能不同,但结果应只有一条 id=42 且状态为 PAID 的记录。CDC 系统捕获这些操作后,需要持续知道更新对应的是哪个逻辑对象。

三类主键变化分别危险在哪里

新增主键意味着原来允许重复的记录突然需要满足唯一性。历史数据若存在重复值或 NULL,DDL 本身就可能失败;即使源库成功,下游原先按追加方式写入的数据也未必能直接切换为 Upsert 模型。

删除主键会失去稳定的行身份。对于依赖主键生成更新键或删除键的同步链路,下游可能无法可靠判断应该覆盖或删除哪一行。某些连接器或目标系统还会直接要求表存在主键。

把主键从 A 改成 B最危险,因为记录身份体系发生了切换。已有状态可能以旧键组织,而新事件开始使用新键;如果迁移边界没有被明确控制,同一个业务对象就可能在状态和下游中表现成两条记录。

为什么 Upsert 和状态最容易出问题

Upsert 的核心可以概括为“相同键覆盖,不同键新增”。假设历史记录使用 id=42,迁移后改用 order_no=ORD-2026-00042。两个值虽然指向同一个订单,但对按键组织的系统而言,它们并不是天然相等的键。

Flink 的 keyed state 也具有类似约束:状态属于某个键。如果作业逻辑、表主键或分区键随 Schema 演进发生改变,旧 checkpoint 中保存的状态结构不会因为业务上“它们是同一订单”就自动完成身份映射。

因此风险不只是报错。更难发现的情况是作业继续运行,但下游出现重复行、旧行残留、删除失效或聚合结果重复计算。

更安全的迁移方式

涉及主键重构时,应优先把它当成数据模型迁移,而不是普通在线 DDL。常见做法是先引入新键并保持旧键,在源端完成回填和唯一性校验,再建立使用新键的新同步链路或新目标表。

迁移前至少验证新键是否满足唯一且非空。例如计划把 order_no 升级为主键候选时,可以先检查:

sql
SELECT
    COUNT(*) AS total_rows,
    COUNT(order_no) AS non_null_rows,
    COUNT(DISTINCT order_no) AS distinct_rows
FROM orders;

预期结果是在迁移条件满足时,三个计数完全相等:

text
total_rows  non_null_rows  distinct_rows
<N>         <N>            <N>

其中 <N> 取决于实际数据量。如果三个值不相等,应先处理空值或重复值,而不是继续切换主键。

随后通过全量校验或双写观察确认新链路的数据量、唯一性以及更新和删除行为正确,再切换消费者。旧链路和旧表应保留到回滚窗口结束。这样即使新键模型出现问题,也不必尝试把运行中的状态强行解释成另一套主键语义。

主键变化真正危险的地方,是它改变了“谁是同一条记录”这一基础规则。只要同步链路已经依赖该规则维护状态或执行 Upsert,就应把主键新增、删除和替换视为需要迁移方案、数据校验与回滚路径的高风险变更。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

主键变化为什么更危险

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通