P2P 与分布式存储 / 系统课时
迁移分片时如何避免漏读和双写
迁移分片时如何避免漏读和双写
在线扩容时,源节点仍在接收更新,目标节点却需要复制旧数据。若过早把读取导向目标,会漏掉增量;若两端同时确认写入,又可能产生冲突。下面用一致性快照、变更日志、写入栅栏和路由版本完成一次可验证的迁移。
学习目标
- 设计“准备、复制、追赶、封写、切路由”的迁移步骤。
- 用日志序号、请求幂等和路由版本阻止漏读与双主写入。
- 根据迁移阶段判断能否回退,并验证故障后的数据完整性。
明确迁移期间的读写归属
假设分片 S7 原本由节点 A 提供服务,当前路由版本 routeEpoch=41,目标是迁往节点 B。在复制和追赶阶段,A 仍是唯一可确认读写的主节点;B 只接收快照与日志,不承接客户端请求。
“复制到两份”并不等于“允许两端独立写入”。若 A、B 同时接受同一个键的写入,网络延迟会让它们以不同顺序提交,单靠最后一次覆盖无法恢复真正的操作顺序。
客户端请求携带所知的路由版本。切换到 routeEpoch=42 后,A 对旧版本的 GET 和 PUT 必须返回可重试的 STALE_ROUTE,或按新版本安全转发;客户端刷新路由后再访问 B,不能继续从 A 读取旧副本。
把一致性快照与增量日志接起来
在 A 上取得与日志位置绑定的一致性快照,边界记为 LSN=2,内容是 a=10、b=20。从 LSN=3 起保留后续所有已确认变更,按顺序重放到 B,而不是依靠“文件复制完毕”的时刻推测差异。
| 日志序号 | A 上已确认的操作 | B 重放后的变化 |
|---|---|---|
| 3 | PUT a=11 |
覆盖旧值 a=10 |
| 4 | DELETE b |
删除 b,防止旧快照使其复活 |
| 5 | PUT c=30 |
新增 c=30 |
B 重放到 LSN=5 后,预期键值为 a=11、c=30。日志必须包含删除操作,并能检测序号缺口;源节点确认成功的写入也必须满足系统承诺的日志持久化条件,否则源节点故障可能让“已确认”数据无日志可追。
对每条变更携带唯一 requestId=<ID>,目标节点重复收到同一操作时只能生效一次。<ID> 表示真实运行时不同的请求标识;去重记录应与数据一起持久化,并至少覆盖客户端重试窗口。
先封住旧主写入,再提交新路由
目标节点追上大部分增量后,用短暂的写入栅栏完成最后切换。栅栏必须由 A 的写入入口执行,且覆盖已进入处理队列但尚未提交的请求,不能只在路由服务里改一个缓存值。

- A 停止接收新的分片写入,并等待在途写入结束;记下最终已确认日志边界
LSN=5。停写期间新请求返回可重试结果,不能在 A 上偷偷继续提交。 - B 按序追到
LSN=5,校验数据、删除记录及必要的去重状态;未追平时既不开放读,也不开放写。 - 迁移协调器通过元数据的条件更新(CAS)将
routeEpoch从 41 改为 42,并把分片所有者改为 B;若条件不成立,应重新读取元数据而非强行覆盖。 - B 在确认新任期有效后接收读写;A 保留栅栏,拒绝或安全转发旧客户端的读写请求。客户端超时重试应复用原
requestId,避免已确认操作再次扣款或累加。
用最小模拟检查重放与旧路由拒绝
下面的 Python 3 示例在内存里模拟 LSN=2 快照、增量重放一次和重复重放一次,以及从版本 41 切到 42 后的读写。它验证状态转换规则,不模拟真实网络、磁盘持久化或跨节点原子提交。
class Shard:
def __init__(self):
self.kv, self.seen, self.lsn = {}, set(), 0
def apply(self, record):
lsn, request_id, kind, key, value = record
if request_id in self.seen:
return # 相同请求的日志重放不会产生第二次效果
if lsn != self.lsn + 1:
raise ValueError("日志不连续")
if kind == "put":
self.kv[key] = value
elif kind == "delete":
self.kv.pop(key, None)
else:
raise ValueError("未知操作")
self.seen.add(request_id)
self.lsn = lsn
source = Shard()
for row in [(1, "r1", "put", "a", 10), (2, "r2", "put", "b", 20)]:
source.apply(row)
target = Shard()
# 一致性快照连同去重状态和日志边界一起复制
target.kv, target.seen, target.lsn = source.kv.copy(), source.seen.copy(), source.lsn
delta = [(3, "r3", "put", "a", 11), (4, "r4", "delete", "b", None),
(5, "r5", "put", "c", 30)]
for row in delta:
source.apply(row)
for row in delta + [delta[-1]]: # 故意重复投递最后一条
target.apply(row)
# 在 A 停写之后检查最终日志屏障和数据
assert target.lsn == source.lsn == 5
assert target.kv == source.kv
source_fenced, route_epoch, owner = True, 42, target
def request(node, client_epoch, method, key, value=None):
if (node is source and source_fenced) or client_epoch != route_epoch or node is not owner:
return "STALE_ROUTE"
if method == "GET":
return node.kv.get(key, "NOT_FOUND")
# 固定 r6 表示一次演示写入,生产系统要持久化真实请求标识
node.apply((node.lsn + 1, "r6", "put", key, value))
return "OK"
print("追平:", target.lsn, sorted(target.kv.items()))
print("旧路由读:", request(source, 41, "GET", "c"))
print("旧路由写:", request(source, 41, "PUT", "d", 40))
print("新路由写:", request(target, 42, "PUT", "d", 40))
print("新路由读:", request(target, 42, "GET", "d"))预期输出:
追平: 5 [('a', 11), ('c', 30)]
旧路由读: STALE_ROUTE
旧路由写: STALE_ROUTE
新路由写: OK
新路由读: 40若把 delta 中的 LSN=4 删除,再重放,程序会抛出“日志不连续”,而不是默默跳过删除导致 B 保留旧键。实际系统的日志序号由写入主节点分配,示例中的 r1 至 r6 只是固定测试标识。
按切换阶段回退并验收
| 出错时刻 | 安全处理 |
|---|---|
| 复制或追赶期间 B 故障 | 保持 A 为版本 41 的主节点,重建 B 并从一致边界重新复制或继续回放 |
| A 已封写,但元数据仍为版本 41 | 确认路由提交未发生,再解除 A 的栅栏;不要在状态未确定时让两端同时开放写入 |
| 版本 42 已生效,B 出现故障 | 从包含版本 42 新写入的有效副本或日志恢复;不能直接把旧 A 当作最新主节点 |
上线前至少检查:栅栏后 B 的最终日志落后量为 0,源与目标在同一屏障上的数据及删除语义一致;版本 42 生效后 A 成功确认的新写入数为 0;旧路由 GET/PUT 会触发刷新;重复 requestId 不会产生第二次业务效果。
如果 A 在追赶完成前故障,而其已确认日志并未保存在其他可靠副本上,就不能假装 B 已经完整并直接提升它。宁可暂时停止该分片服务,也不能用缺少最后几条确认写入的副本制造“迁移成功”。