MySQL / 系统课时

使用 gh-ost

使用 gh-ost

这节课解决一个核心问题:当原生 DDL 需要长时间重建大表时,如何用 gh-ost 在持续写入的业务上完成结构变更,并把复制、增量追平、节流和最终切换控制在可观测、可暂停的流程里。

学习目标

  • 解释 gh-ost 如何用 binlog 捕获原表增量并同步到 ghost 表
  • 配置复制延迟、负载阈值和 cut-over 控制,避免迁移挤压线上业务
  • 在执行前检查 binlog 条件,并在完成后验证表结构与切换结果

看懂 gh-ost 的迁移链路

gh-ost 仍然采用“新表重建”思路:先按目标结构创建 ghost 表,再分批复制原表存量数据。不同点在于,它不依赖每次业务写入都触发迁移逻辑,而是读取 row-based binlog,把迁移期间发生的 INSERT、UPDATE、DELETE 异步应用到 ghost 表。

当存量复制接近完成后,gh-ost 会继续消费增量直到两边追平,然后进入 cut-over。cut-over 最终仍需要短暂获取元数据锁并完成表名切换,所以“在线”不等于“完全没有锁”:长事务、未提交事务或持有 MDL 的会话都可能拖住最后一步。

gh-ost 存量复制、binlog 增量同步与切换流程

这种设计的价值是迁移节奏由 gh-ost 自己控制。负载或复制延迟升高时可以暂停迁移写入,业务恢复后再继续;同时可以把 cut-over 延后到人工确认的窗口,而不是复制完就立即切表。

执行前确认 binlog 条件

直接连接主库执行 gh-ost 时,至少要确认实例开启 binlog,并能提供 ROW 格式事件。生产环境还应检查账号权限、目标表主键或唯一键、磁盘余量、长事务和复制拓扑。

sql
SHOW VARIABLES
WHERE Variable_name IN ('log_bin', 'binlog_format', 'binlog_row_image');

预期结果

text
+------------------+-------+
| Variable_name    | Value |
+------------------+-------+
| binlog_format    | ROW   |
| binlog_row_image | FULL  |
| log_bin          | ON    |
+------------------+-------+

如果实际值不同,不要直接加参数强行绕过检查,应先确认当前 gh-ost 版本、复制模式和运维规范是否支持该组合。

用负载和延迟控制迁移速度

下面示例给 shop.orders 增加一个可空列。<HOST>、<USER>、<REPLICA_HOST> 需要替换为实际值;密码不写入命令行,而是让 gh-ost 在启动时通过 --ask-pass 交互式提示输入,避免密码出现在 shell history 或进程参数中。阈值也必须来自业务基线,而不是照抄示例。

bash
gh-ost \
  --host="<HOST>" \
  --user="<USER>" \
  --database="shop" \
  --table="orders" \
  --alter="ADD COLUMN audit_tag VARCHAR(32) NULL" \
  --allow-on-master \
  --ask-pass \
  --chunk-size=1000 \
  --max-load=Threads_running=40 \
  --critical-load=Threads_running=80 \
  --max-lag-millis=1500 \
  --throttle-control-replicas="<REPLICA_HOST>" \
  --postpone-cut-over-flag-file="/tmp/gh-ost-orders.postpone" \
  --serve-socket-file="/tmp/gh-ost-orders.sock" \
  --execute

预期输出

text
Enter MySQL password:
Copy: <VALUE>/<VALUE> <VALUE>%; Applied: <VALUE>; Backlog: <VALUE>/<VALUE>; Time: <TIME>; Lag: <VALUE>s; State: postponing cut-over; ETA: due

--max-load 达到阈值时迁移会节流,--critical-load 用于定义不可接受的负载上限;--max-lag-millis 则把复制延迟纳入控制。--postpone-cut-over-flag-file 可以把“数据复制完成”和“允许切表”拆开:文件存在时不进入最终切换,确认业务低峰且没有长事务后再释放。

控制 cut-over 并验证结果

复制完成后,先确认延迟已回落、ghost 表追平、业务错误率正常,再移除 postpone 文件允许切换。这个动作本身很简单,但真正要观察的是随后几秒内是否出现 MDL 等待和业务抖动。

bash
rm "/tmp/gh-ost-orders.postpone"

mysql -h "<HOST>" -u "<USER>" -p -e "SHOW CREATE TABLE shop.orders\G"

预期输出

text
Enter password:
*************************** 1. row ***************************
       Table: orders
Create Table: CREATE TABLE `orders` (
  ...
  `audit_tag` varchar(32) DEFAULT NULL,
  ...
) ENGINE=InnoDB ...

实际表定义中的索引、字符集和其他列会因环境不同而变化。验证不能只看“新列出现了”:还应确认业务读写成功、复制延迟恢复、旧表保留策略符合回退要求,并检查是否存在异常长的 metadata lock 等待。

gh-ost 最适合需要长时间重建、又希望把迁移负载与切换时机精细控制的场景;它不是绕开所有 MySQL 约束的万能层。涉及外键、特殊复制拓扑或已有触发器策略时,应先按当前版本能力做兼容性核对,再决定是否使用。

按自己的节奏,确认真正理解。

目录与阅读设置

记录一个想法

使用 gh-ost

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通