架构与系统设计 / 系统课时

在线迁移分片避免双写丢失

在线迁移分片避免双写丢失

在线迁移分片最危险的不是复制慢,而是切换期间旧分片和新分片同时接收写入,产生无法判定先后的更新。本节把迁移拆成快照复制、增量追平、写入栅栏、路由切换和延迟清理,并给出可验证的回放规则。

学习目标

  • 设计“全量复制 + 增量追平 + 单写者切换”的在线分片迁移流程。
  • 说明写入栅栏如何消除切路由时的双写竞态。
  • 使用版本守卫验证增量回放不会被旧事件覆盖。

把迁移变成单写者切换

不要让业务服务在迁移期间直接向旧、新两个分片各发一次写请求。两次写入没有共同事务,一旦出现超时、重试或部分成功,就无法仅凭客户端结果判断哪边是最新值。

更稳妥的原则是:任一时刻只有一个业务写入权威分片。迁移期间旧分片继续承接业务写,新分片通过数据库变更日志接收增量;真正切换时先阻断旧路由的新写,再追平最后一小段增量,最后才把写入权交给新分片。

在线分片迁移中的单写者切换与增量追平

用快照与增量追平目标分片

迁移开始时先记录一个可定位的变更位置,例如 binlog position、LSN 或 CDC offset,再基于与该位置一致的快照复制目标键范围。这样才能明确“全量复制覆盖到哪里,后续增量从哪里开始”。

全量复制完成后持续回放该位置之后的变更,并监控目标分片的增量延迟。只有当延迟接近零,而且连续一段观察时间没有校验差异,迁移才进入切换阶段。校验至少要覆盖行数、关键字段摘要和抽样业务读结果,不能只看复制任务显示成功。

在切路由前建立写入栅栏

切换不是简单地把路由配置从旧地址改成新地址。还要处理已经拿到旧路由、但尚未提交的在途请求。常见做法是给迁移范围增加路由版本或迁移状态,并让旧分片在进入 FENCED 状态后拒绝该范围的新写。

切换顺序应保持稳定:

  1. 路由控制面把目标键范围标记为“准备切换”,停止发放旧路由版本。
  2. 旧分片启用写入栅栏,等待旧版本在途请求完成或被拒绝。
  3. CDC 回放到栅栏之后的最终位置,确认目标分片追平。
  4. 发布新路由版本,让新分片成为唯一写入权威。
  5. 旧分片保持只读观察,不立即删除数据。

用版本守卫验证增量回放

增量事件可能因为重试或并行消费发生重复,甚至出现较旧事件晚到。目标分片可以保存源记录版本,只允许更大的版本覆盖当前值。下面的 PostgreSQL 脚本可直接演示这一规则。

sql
CREATE TEMP TABLE target_orders (
    order_id BIGINT PRIMARY KEY,
    status TEXT NOT NULL,
    source_version BIGINT NOT NULL
);

INSERT INTO target_orders(order_id, status, source_version)
VALUES (1001, 'created', 10);

INSERT INTO target_orders(order_id, status, source_version)
VALUES (1001, 'paid', 11)
ON CONFLICT (order_id) DO UPDATE
SET status = EXCLUDED.status,
    source_version = EXCLUDED.source_version
WHERE EXCLUDED.source_version > target_orders.source_version;

INSERT INTO target_orders(order_id, status, source_version)
VALUES (1001, 'created', 10)
ON CONFLICT (order_id) DO UPDATE
SET status = EXCLUDED.status,
    source_version = EXCLUDED.source_version
WHERE EXCLUDED.source_version > target_orders.source_version;

SELECT order_id, status, source_version
FROM target_orders;

预期输出

text
 order_id | status | source_version
----------+--------+---------------
     1001 | paid   |            11
(1 row)

这个守卫成立的前提是版本在同一业务记录上单调可比较。若源库没有显式版本字段,应依赖数据库变更日志的有序位置或按分区严格有序消费,不能把本地到达时间当作版本。

清理旧分片前保留回退窗口

路由切换成功不等于可以立刻删除旧数据。先保留一个只读回退窗口,持续比较新旧分片的关键指标,并确认没有旧版本客户端仍在向旧分片写入。回退也必须遵守单写者原则:若需要回切,应再次建立栅栏、追平反向增量后再切路由,而不是重新开启双写。

只有在新分片稳定、增量链路停止、审计与校验通过,并且回退窗口结束后,才清理旧分片。这样迁移的核心不再是“同时写两份”,而是把复制、追平和写入权转移做成一个可证明顺序的状态机。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

在线迁移分片避免双写丢失

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通