大数据与流处理 / 系统课时
先分清哪些变更能兼容
先分清哪些变更能兼容
数据库表结构发生变化后,CDC 链路能否继续运行,不能只看源库 DDL 是否执行成功。真正要判断的是:采集端能否识别变化、事件格式能否表达新 Schema,以及目标端能否接受变化后的记录。本篇建立一套可直接用于评审 Schema 变更的判断方法。
学习目标
- 区分新增、删除、重命名和类型修改带来的兼容性差异
- 从源端、CDC 事件和目标端三个环节判断变更风险
- 识别需要迁移方案而不能直接依赖自动演进的变更
兼容不是一个单独的结论
同一个 ALTER TABLE 对不同链路可能得到完全不同的结果。例如源表增加一个可空列,CDC 采集器通常可以感知新 Schema,但固定字段的 JSON 消费程序、目标表以及下游 SQL 未必能够同步接受它。
因此判断兼容性时至少检查三个边界:源端连接器能否捕获 Schema 变化;中间的数据模型或序列化格式能否表达变化后的字段;目标端是否支持对应的 Schema Evolution 行为。任一环节要求固定 Schema,整条链路就不能简单视为兼容。

四类常见变化的风险不同
新增列通常是最容易兼容的变化,尤其是新增可空列或带默认值的列。旧记录没有该字段时仍有明确语义,但目标表如果固定列集合,仍需要先扩列或启用受支持的自动演进能力。
删除列的风险更高。即使采集端能够识别删除动作,下游 SQL、序列化模型或目标表写入逻辑仍可能引用旧字段。直接删除会把结构变化立即转化为运行时错误。
重命名列不能简单理解成“名字换了”。很多数据链路只能观察到旧列消失和新列出现,下游也可能仍按旧名称读取,因此生产迁移常采用先新增新列、双写或回填、切换消费者、最后删除旧列的方式降低风险。
类型修改要看值域是否仍能安全表示。扩大字符串长度、扩大部分数值范围通常比缩窄类型风险低;从字符串改成数值、降低精度或改变时间语义,则可能遇到历史值无法转换、精度丢失或目标端类型不匹配。
| 变化 | 常见风险 | 评审重点 |
|---|---|---|
| 新增列 | 较低但非必然兼容 | 默认值、可空性、目标端扩列 |
| 删除列 | 下游仍引用旧字段 | SQL、模型和消费者依赖 |
| 重命名列 | 可能被视为删旧加新 | 字段映射和迁移顺序 |
| 修改类型 | 转换失败或数据损失 | 值域、精度、目标类型 |
用一次 DDL 做变更前检查
以 MySQL 为例,准备评审一个新增列操作时,可以先确认实际表结构,再决定下游是否具备接收条件。下面的命令只修改源表示例,不代表目标端一定会自动演进。
ALTER TABLE orders
ADD COLUMN remark VARCHAR(255) NULL;
SHOW COLUMNS FROM orders LIKE 'remark';预期输出中应出现 remark,类型为 varchar(255),并允许 NULL。不同 MySQL 版本的展示细节可能不同,例如额外属性列可能存在差异。
Field Type Null Key Default Extra
remark varchar(255) YES NULL接下来不能直接宣布“CDC 已兼容”,而应继续检查 CDC 作业是否仍为运行状态、Schema 变化是否被连接器识别,以及目标端是否已经存在可接收 remark 的结构。
生产变更按最弱环节设计
评审 Schema 变更时,可以把“兼容”定义为:旧数据仍可解释、新数据能够表达、下游无需同时升级也不会失败。新增可选字段更容易满足这个条件,而删除、重命名、缩窄类型往往需要分阶段迁移。
当无法确认自动 Schema Evolution 的支持范围时,最稳妥的做法不是直接执行破坏性 DDL,而是先验证测试链路,并按照“扩展结构 → 迁移读写 → 验证数据 → 清理旧结构”的顺序实施。这样即使某一层不能自动跟随,也有回退空间。