MySQL / 系统课时
理解影子表在线迁移
理解影子表在线迁移
影子表在线迁移的目标,是在大表仍持续读写时完成结构重建,并把最终切换窗口压缩到一次很短的表名交换。本节重点看清“旧表承载流量、影子表回填历史数据、增量同步追平、原子切换”的闭环,以及它和 MySQL 原生 Online DDL 的边界。
学习目标
- 解释影子表、历史回填、增量同步和最终切换各自承担的职责
- 判断迁移什么时候真正“追平”,以及切换时为什么仍要关注元数据锁
- 区分影子表迁移与原生
INSTANT、INPLACEOnline DDL 的适用边界
影子表不是直接修改原表
影子表方案不会把耗时的数据重写全部压在原表的 ALTER TABLE 上,而是先创建一张目标结构的新表。业务仍访问旧表,迁移程序在后台把历史行分批复制到新表,同时把复制期间发生的新增、更新和删除同步过去。
这样做的核心价值不是“完全无锁”。真正的数据搬运被摊到较长时间里,但建立同步机制、最终 RENAME TABLE、外键调整等动作仍可能申请元数据锁。若前面存在长事务,最后几秒的切换也可能变成长时间等待。

数据怎样追到同一个状态
一次完整迁移通常按下面顺序推进:
- 从源表复制表结构并应用目标 DDL,形成影子表,同时保留必要的主键、索引、字符集和表选项。
- 建立增量同步。常见实现用源表触发器,也有工具从 binlog 或 CDC 流复制变更;目标都是让回填期间的新写入不会丢失。
- 按主键或唯一键切成小批次复制历史数据,并根据数据库负载、复制延迟动态暂停或缩小批次。
- 回填接近尾声后检查增量积压,确认影子表已消费到切换屏障附近,再做行数、校验和或业务抽样验证。
- 在最终切换窗口阻止新旧状态继续分叉,完成表名交换,再观察错误率、延迟和复制状态,最后决定何时清理旧表。
“复制进度 100%”并不等于“迁移完成”。历史行复制结束后,仍要确认复制期间产生的增量已经处理完,并且切换动作不会跨过尚未同步的写入。不同工具实现这个屏障的方式不同,但验收原则一致:先证明新表是可接管状态,再切换名字。
下面的实验只演示最后的多表原子改名,不模拟增量同步。它可以在测试实例直接运行,用来理解切换前后表名怎样变化。
DROP DATABASE IF EXISTS osc_demo;
CREATE DATABASE osc_demo;
USE osc_demo;
CREATE TABLE orders (
id BIGINT PRIMARY KEY,
amount DECIMAL(10,2) NOT NULL
) ENGINE=InnoDB;
INSERT INTO orders VALUES (1, 99.00), (2, 128.00);
CREATE TABLE orders_new LIKE orders;
ALTER TABLE orders_new
ADD COLUMN source VARCHAR(16) NOT NULL DEFAULT 'web';
INSERT INTO orders_new (id, amount)
SELECT id, amount FROM orders;
RENAME TABLE
orders TO orders_old,
orders_new TO orders;
SHOW TABLES;
SHOW COLUMNS FROM orders LIKE 'source';预期结果如下。客户端的耗时字段可能不同,但最终应同时存在 orders 与 orders_old,且新 orders 已包含目标列。
Tables_in_osc_demo
orders
orders_old
Field Type Null Key Default Extra
source varchar(16) NO web与原生 Online DDL 的边界
| 维度 | 原生 Online DDL | 影子表在线迁移 |
|---|---|---|
| 结构变化位置 | MySQL 在原表上执行 INSTANT、INPLACE 或必要的重建 |
外部创建目标结构的新表,再接管原表名 |
| 并发写入 | 能否并发取决于具体 DDL、算法和锁级别 | 通常允许旧表继续写,再把增量同步到影子表 |
| 资源形态 | 由 MySQL 内部完成,可能产生重建、临时空间和 redo/undo 压力 | 额外占用一份表空间,并增加复制查询与同步写入 |
| 控制能力 | 语句级选择 ALGORITHM、LOCK,流程更短 |
可按 chunk、负载和复制延迟主动节流,流程更复杂 |
| 主要风险 | MDL 等待、算法退化、重建资源峰值 | 同步遗漏、触发器冲突、外键处理、磁盘翻倍、切换 MDL |
在 MySQL 8.x 中,很多加列、删列或索引操作已经可以用 INSTANT 或 INPLACE 完成,因此不要因为“表很大”就默认上影子表工具。先确认原生算法是否满足并发和耗时要求;只有原生路径需要重建、风险不可接受,或你确实需要更细的节流与切换控制时,再引入外部迁移链路。
切换前真正要验收什么
切换前至少要把结构、数据、资源和依赖四类证据放在一起看。结构上确认列、索引、默认值、字符集与自增属性符合预期;数据上确认历史回填与增量同步都已追平;资源上确认磁盘、主库负载和复制延迟仍在阈值内;依赖上检查触发器、外键、长事务和可能阻塞 RENAME TABLE 的元数据锁。
影子表方案把“大段不可控的表重建”改造成“较长时间的可节流复制,加一次短切换”,但并没有消灭 DDL 风险。真正可靠的上线标准不是工具显示进度完成,而是你能证明新表数据完整、依赖关系可接管,并且最后的元数据锁窗口已经被纳入变更计划。