大数据与流处理 / 系统课时

先分清哪些变更能兼容

先分清哪些变更能兼容

数据库表结构发生变化后,CDC 链路能否继续运行,不能只看源库 DDL 是否执行成功。真正要判断的是:采集端能否识别变化、事件格式能否表达新 Schema,以及目标端能否接受变化后的记录。本篇建立一套可直接用于评审 Schema 变更的判断方法。

学习目标

  • 区分新增、删除、重命名和类型修改带来的兼容性差异
  • 从源端、CDC 事件和目标端三个环节判断变更风险
  • 识别需要迁移方案而不能直接依赖自动演进的变更

兼容不是一个单独的结论

同一个 ALTER TABLE 对不同链路可能得到完全不同的结果。例如源表增加一个可空列,CDC 采集器通常可以感知新 Schema,但固定字段的 JSON 消费程序、目标表以及下游 SQL 未必能够同步接受它。

因此判断兼容性时至少检查三个边界:源端连接器能否捕获 Schema 变化;中间的数据模型或序列化格式能否表达变化后的字段;目标端是否支持对应的 Schema Evolution 行为。任一环节要求固定 Schema,整条链路就不能简单视为兼容。

Schema 变化穿过 CDC 链路时的兼容边界

四类常见变化的风险不同

新增列通常是最容易兼容的变化,尤其是新增可空列或带默认值的列。旧记录没有该字段时仍有明确语义,但目标表如果固定列集合,仍需要先扩列或启用受支持的自动演进能力。

删除列的风险更高。即使采集端能够识别删除动作,下游 SQL、序列化模型或目标表写入逻辑仍可能引用旧字段。直接删除会把结构变化立即转化为运行时错误。

重命名列不能简单理解成“名字换了”。很多数据链路只能观察到旧列消失和新列出现,下游也可能仍按旧名称读取,因此生产迁移常采用先新增新列、双写或回填、切换消费者、最后删除旧列的方式降低风险。

类型修改要看值域是否仍能安全表示。扩大字符串长度、扩大部分数值范围通常比缩窄类型风险低;从字符串改成数值、降低精度或改变时间语义,则可能遇到历史值无法转换、精度丢失或目标端类型不匹配。

变化 常见风险 评审重点
新增列 较低但非必然兼容 默认值、可空性、目标端扩列
删除列 下游仍引用旧字段 SQL、模型和消费者依赖
重命名列 可能被视为删旧加新 字段映射和迁移顺序
修改类型 转换失败或数据损失 值域、精度、目标类型

用一次 DDL 做变更前检查

以 MySQL 为例,准备评审一个新增列操作时,可以先确认实际表结构,再决定下游是否具备接收条件。下面的命令只修改源表示例,不代表目标端一定会自动演进。

sql
ALTER TABLE orders
ADD COLUMN remark VARCHAR(255) NULL;

SHOW COLUMNS FROM orders LIKE 'remark';

预期输出中应出现 remark,类型为 varchar(255),并允许 NULL。不同 MySQL 版本的展示细节可能不同,例如额外属性列可能存在差异。

text
Field   Type          Null  Key  Default  Extra
remark  varchar(255)  YES        NULL

接下来不能直接宣布“CDC 已兼容”,而应继续检查 CDC 作业是否仍为运行状态、Schema 变化是否被连接器识别,以及目标端是否已经存在可接收 remark 的结构。

生产变更按最弱环节设计

评审 Schema 变更时,可以把“兼容”定义为:旧数据仍可解释、新数据能够表达、下游无需同时升级也不会失败。新增可选字段更容易满足这个条件,而删除、重命名、缩窄类型往往需要分阶段迁移。

当无法确认自动 Schema Evolution 的支持范围时,最稳妥的做法不是直接执行破坏性 DDL,而是先验证测试链路,并按照“扩展结构 → 迁移读写 → 验证数据 → 清理旧结构”的顺序实施。这样即使某一层不能自动跟随,也有回退空间。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

先分清哪些变更能兼容

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通