MySQL / 系统课时

理解影子表在线迁移

理解影子表在线迁移

影子表在线迁移的目标,是在大表仍持续读写时完成结构重建,并把最终切换窗口压缩到一次很短的表名交换。本节重点看清“旧表承载流量、影子表回填历史数据、增量同步追平、原子切换”的闭环,以及它和 MySQL 原生 Online DDL 的边界。

学习目标

  • 解释影子表、历史回填、增量同步和最终切换各自承担的职责
  • 判断迁移什么时候真正“追平”,以及切换时为什么仍要关注元数据锁
  • 区分影子表迁移与原生 INSTANT、INPLACE Online DDL 的适用边界

影子表不是直接修改原表

影子表方案不会把耗时的数据重写全部压在原表的 ALTER TABLE 上,而是先创建一张目标结构的新表。业务仍访问旧表,迁移程序在后台把历史行分批复制到新表,同时把复制期间发生的新增、更新和删除同步过去。

这样做的核心价值不是“完全无锁”。真正的数据搬运被摊到较长时间里,但建立同步机制、最终 RENAME TABLE、外键调整等动作仍可能申请元数据锁。若前面存在长事务,最后几秒的切换也可能变成长时间等待。

影子表在线迁移从回填到切换的完整链路

数据怎样追到同一个状态

一次完整迁移通常按下面顺序推进:

  1. 从源表复制表结构并应用目标 DDL,形成影子表,同时保留必要的主键、索引、字符集和表选项。
  2. 建立增量同步。常见实现用源表触发器,也有工具从 binlog 或 CDC 流复制变更;目标都是让回填期间的新写入不会丢失。
  3. 按主键或唯一键切成小批次复制历史数据,并根据数据库负载、复制延迟动态暂停或缩小批次。
  4. 回填接近尾声后检查增量积压,确认影子表已消费到切换屏障附近,再做行数、校验和或业务抽样验证。
  5. 在最终切换窗口阻止新旧状态继续分叉,完成表名交换,再观察错误率、延迟和复制状态,最后决定何时清理旧表。

“复制进度 100%”并不等于“迁移完成”。历史行复制结束后,仍要确认复制期间产生的增量已经处理完,并且切换动作不会跨过尚未同步的写入。不同工具实现这个屏障的方式不同,但验收原则一致:先证明新表是可接管状态,再切换名字。

下面的实验只演示最后的多表原子改名,不模拟增量同步。它可以在测试实例直接运行,用来理解切换前后表名怎样变化。

sql
DROP DATABASE IF EXISTS osc_demo;
CREATE DATABASE osc_demo;
USE osc_demo;

CREATE TABLE orders (
  id BIGINT PRIMARY KEY,
  amount DECIMAL(10,2) NOT NULL
) ENGINE=InnoDB;

INSERT INTO orders VALUES (1, 99.00), (2, 128.00);

CREATE TABLE orders_new LIKE orders;
ALTER TABLE orders_new
  ADD COLUMN source VARCHAR(16) NOT NULL DEFAULT 'web';

INSERT INTO orders_new (id, amount)
SELECT id, amount FROM orders;

RENAME TABLE
  orders TO orders_old,
  orders_new TO orders;

SHOW TABLES;
SHOW COLUMNS FROM orders LIKE 'source';

预期结果如下。客户端的耗时字段可能不同,但最终应同时存在 orders 与 orders_old,且新 orders 已包含目标列。

text
Tables_in_osc_demo
orders
orders_old

Field   Type         Null  Key  Default  Extra
source  varchar(16)  NO         web

与原生 Online DDL 的边界

维度 原生 Online DDL 影子表在线迁移
结构变化位置 MySQL 在原表上执行 INSTANT、INPLACE 或必要的重建 外部创建目标结构的新表,再接管原表名
并发写入 能否并发取决于具体 DDL、算法和锁级别 通常允许旧表继续写,再把增量同步到影子表
资源形态 由 MySQL 内部完成,可能产生重建、临时空间和 redo/undo 压力 额外占用一份表空间,并增加复制查询与同步写入
控制能力 语句级选择 ALGORITHM、LOCK,流程更短 可按 chunk、负载和复制延迟主动节流,流程更复杂
主要风险 MDL 等待、算法退化、重建资源峰值 同步遗漏、触发器冲突、外键处理、磁盘翻倍、切换 MDL

在 MySQL 8.x 中,很多加列、删列或索引操作已经可以用 INSTANT 或 INPLACE 完成,因此不要因为“表很大”就默认上影子表工具。先确认原生算法是否满足并发和耗时要求;只有原生路径需要重建、风险不可接受,或你确实需要更细的节流与切换控制时,再引入外部迁移链路。

切换前真正要验收什么

切换前至少要把结构、数据、资源和依赖四类证据放在一起看。结构上确认列、索引、默认值、字符集与自增属性符合预期;数据上确认历史回填与增量同步都已追平;资源上确认磁盘、主库负载和复制延迟仍在阈值内;依赖上检查触发器、外键、长事务和可能阻塞 RENAME TABLE 的元数据锁。

影子表方案把“大段不可控的表重建”改造成“较长时间的可节流复制,加一次短切换”,但并没有消灭 DDL 风险。真正可靠的上线标准不是工具显示进度完成,而是你能证明新表数据完整、依赖关系可接管,并且最后的元数据锁窗口已经被纳入变更计划。

按自己的节奏,确认真正理解。

目录与阅读设置

记录一个想法

理解影子表在线迁移

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通