P2P 与分布式存储 / 系统课时

迁移分片时如何避免漏读和双写

迁移分片时如何避免漏读和双写

在线扩容时,源节点仍在接收更新,目标节点却需要复制旧数据。若过早把读取导向目标,会漏掉增量;若两端同时确认写入,又可能产生冲突。下面用一致性快照、变更日志、写入栅栏和路由版本完成一次可验证的迁移。

学习目标

  • 设计“准备、复制、追赶、封写、切路由”的迁移步骤。
  • 用日志序号、请求幂等和路由版本阻止漏读与双主写入。
  • 根据迁移阶段判断能否回退,并验证故障后的数据完整性。

明确迁移期间的读写归属

假设分片 S7 原本由节点 A 提供服务,当前路由版本 routeEpoch=41,目标是迁往节点 B。在复制和追赶阶段,A 仍是唯一可确认读写的主节点;B 只接收快照与日志,不承接客户端请求。

“复制到两份”并不等于“允许两端独立写入”。若 A、B 同时接受同一个键的写入,网络延迟会让它们以不同顺序提交,单靠最后一次覆盖无法恢复真正的操作顺序。

客户端请求携带所知的路由版本。切换到 routeEpoch=42 后,A 对旧版本的 GET 和 PUT 必须返回可重试的 STALE_ROUTE,或按新版本安全转发;客户端刷新路由后再访问 B,不能继续从 A 读取旧副本。

把一致性快照与增量日志接起来

在 A 上取得与日志位置绑定的一致性快照,边界记为 LSN=2,内容是 a=10、b=20。从 LSN=3 起保留后续所有已确认变更,按顺序重放到 B,而不是依靠“文件复制完毕”的时刻推测差异。

日志序号 A 上已确认的操作 B 重放后的变化
3 PUT a=11 覆盖旧值 a=10
4 DELETE b 删除 b,防止旧快照使其复活
5 PUT c=30 新增 c=30

B 重放到 LSN=5 后,预期键值为 a=11、c=30。日志必须包含删除操作,并能检测序号缺口;源节点确认成功的写入也必须满足系统承诺的日志持久化条件,否则源节点故障可能让“已确认”数据无日志可追。

对每条变更携带唯一 requestId=<ID>,目标节点重复收到同一操作时只能生效一次。<ID> 表示真实运行时不同的请求标识;去重记录应与数据一起持久化,并至少覆盖客户端重试窗口。

先封住旧主写入,再提交新路由

目标节点追上大部分增量后,用短暂的写入栅栏完成最后切换。栅栏必须由 A 的写入入口执行,且覆盖已进入处理队列但尚未提交的请求,不能只在路由服务里改一个缓存值。

分片在线迁移的快照追赶与路由切换时序

  1. A 停止接收新的分片写入,并等待在途写入结束;记下最终已确认日志边界 LSN=5。停写期间新请求返回可重试结果,不能在 A 上偷偷继续提交。
  2. B 按序追到 LSN=5,校验数据、删除记录及必要的去重状态;未追平时既不开放读,也不开放写。
  3. 迁移协调器通过元数据的条件更新(CAS)将 routeEpoch 从 41 改为 42,并把分片所有者改为 B;若条件不成立,应重新读取元数据而非强行覆盖。
  4. B 在确认新任期有效后接收读写;A 保留栅栏,拒绝或安全转发旧客户端的读写请求。客户端超时重试应复用原 requestId,避免已确认操作再次扣款或累加。

用最小模拟检查重放与旧路由拒绝

下面的 Python 3 示例在内存里模拟 LSN=2 快照、增量重放一次和重复重放一次,以及从版本 41 切到 42 后的读写。它验证状态转换规则,不模拟真实网络、磁盘持久化或跨节点原子提交。

python
class Shard:
    def __init__(self):
        self.kv, self.seen, self.lsn = {}, set(), 0

    def apply(self, record):
        lsn, request_id, kind, key, value = record
        if request_id in self.seen:
            return  # 相同请求的日志重放不会产生第二次效果
        if lsn != self.lsn + 1:
            raise ValueError("日志不连续")
        if kind == "put":
            self.kv[key] = value
        elif kind == "delete":
            self.kv.pop(key, None)
        else:
            raise ValueError("未知操作")
        self.seen.add(request_id)
        self.lsn = lsn

source = Shard()
for row in [(1, "r1", "put", "a", 10), (2, "r2", "put", "b", 20)]:
    source.apply(row)

target = Shard()
# 一致性快照连同去重状态和日志边界一起复制
target.kv, target.seen, target.lsn = source.kv.copy(), source.seen.copy(), source.lsn

delta = [(3, "r3", "put", "a", 11), (4, "r4", "delete", "b", None),
         (5, "r5", "put", "c", 30)]
for row in delta:
    source.apply(row)
for row in delta + [delta[-1]]:  # 故意重复投递最后一条
    target.apply(row)

# 在 A 停写之后检查最终日志屏障和数据
assert target.lsn == source.lsn == 5
assert target.kv == source.kv
source_fenced, route_epoch, owner = True, 42, target

def request(node, client_epoch, method, key, value=None):
    if (node is source and source_fenced) or client_epoch != route_epoch or node is not owner:
        return "STALE_ROUTE"
    if method == "GET":
        return node.kv.get(key, "NOT_FOUND")
    # 固定 r6 表示一次演示写入,生产系统要持久化真实请求标识
    node.apply((node.lsn + 1, "r6", "put", key, value))
    return "OK"

print("追平:", target.lsn, sorted(target.kv.items()))
print("旧路由读:", request(source, 41, "GET", "c"))
print("旧路由写:", request(source, 41, "PUT", "d", 40))
print("新路由写:", request(target, 42, "PUT", "d", 40))
print("新路由读:", request(target, 42, "GET", "d"))

预期输出:

text
追平: 5 [('a', 11), ('c', 30)]
旧路由读: STALE_ROUTE
旧路由写: STALE_ROUTE
新路由写: OK
新路由读: 40

若把 delta 中的 LSN=4 删除,再重放,程序会抛出“日志不连续”,而不是默默跳过删除导致 B 保留旧键。实际系统的日志序号由写入主节点分配,示例中的 r1 至 r6 只是固定测试标识。

按切换阶段回退并验收

出错时刻 安全处理
复制或追赶期间 B 故障 保持 A 为版本 41 的主节点,重建 B 并从一致边界重新复制或继续回放
A 已封写,但元数据仍为版本 41 确认路由提交未发生,再解除 A 的栅栏;不要在状态未确定时让两端同时开放写入
版本 42 已生效,B 出现故障 从包含版本 42 新写入的有效副本或日志恢复;不能直接把旧 A 当作最新主节点

上线前至少检查:栅栏后 B 的最终日志落后量为 0,源与目标在同一屏障上的数据及删除语义一致;版本 42 生效后 A 成功确认的新写入数为 0;旧路由 GET/PUT 会触发刷新;重复 requestId 不会产生第二次业务效果。

如果 A 在追赶完成前故障,而其已确认日志并未保存在其他可靠副本上,就不能假装 B 已经完整并直接提升它。宁可暂时停止该分片服务,也不能用缺少最后几条确认写入的副本制造“迁移成功”。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

迁移分片时如何避免漏读和双写

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通