P2P 与分布式存储 / 系统课时

节点成员变更怎样保持路由视图一致

节点成员变更怎样保持路由视图一致

节点加入、退出或重新上线时,客户端可能仍按旧成员表把分片请求送往旧主。下面以分片 s7 从 A 迁往 D 为例,建立带版本的路由快照,演示拒绝旧请求、刷新重试,并明确怎样防止失联旧主继续确认写入。

学习目标

  • 区分成员视图与分片所有权,并使用递增版本发布一致快照。
  • 安排节点加入、退出及重上线时的数据追赶与写入栅栏。
  • 实现旧路由拒绝、客户端刷新及请求幂等重试。

用版本快照绑定成员与路由

元数据服务对外发布的是一份已提交快照:epoch 表示视图版本,members 记录节点及状态,shardOwners 记录每个分片的当前写入所有者。同一版本内这三项必须匹配;不能单独更新成员名单,却沿用另一版本计算出的分片映射。

已提交版本 成员状态 s7 写入所有者 客户端行为
v40 A、B、C 正常服务 A 向 A 写入
v41 D 加入,状态为 JOINING A 仍向 A 写入
v42 D 完成追赶并获得写权 D 改向 D 写入

发布者应依赖多数派提交或等价的一致性元数据机制,让所有客户端读到相同版本的映射。客户端只接受比当前缓存更新的完整快照,不能将 v41 的成员集合与 v42 的分片所有权拼在一起。视图版本由控制面分配,不使用机器本地时钟。

变更前先追赶数据并隔离旧写入方

  1. 加入:先将 D 注册为 JOINING,提交 v41;此时 D 不承接 s7 请求。
  2. 追赶:从 A 复制 s7 的一致性快照,再回放增量日志,确认 D 已追至允许接管的提交位置。仅复制完文件不代表可以接写。
  3. 栅栏:为 s7 授予新的所有权任期或写入令牌,让旧任期无法再成功提交。旧主 A 即使收不到停写通知,也不能继续确认写入;若依靠租约,必须确保旧租约已失效。
  4. 发布:D 获得有效写权后,控制面提交 v42,原子更新 s7 所有者为 D。准备过程未完成就返回可重试的暂不可用错误,而不是同时允许 A、D 写入。
  5. 退出与重上线:计划退出时先标记 DRAINING,迁走负责的分片后再移出成员表;故障节点恢复时使用新的进程实例标识,先拉取最新视图并校验数据,不得凭旧磁盘状态自动恢复主角色。

成员视图切换与旧路由拒绝时序

用 Python 验证旧请求必须被拒绝

以下是 Python 3.9+ 的最小模拟器。假定数据同步、栅栏和 v42 提交均已完成,A、D 均已安装新所有权状态。STALE_ROUTE 是本例自定义的协议状态,不是 Python 或某个存储产品的内置接口。

python
class Node:
    def __init__(self, name: str, epoch: int, owner: str):
        self.name = name
        self.epoch = epoch
        self.owner = owner
        self.seen = set()

    def put(self, route_epoch: int, request_id: str) -> str:
        # 旧版本或非所有者均不得确认写入
        if route_epoch != self.epoch or self.owner != self.name:
            return "STALE_ROUTE"
        if request_id in self.seen:
            return "OK(replayed)"
        self.seen.add(request_id)
        return "OK"

def main():
    # 模拟提交后的v42集群,客户端还缓存着v40
    nodes = {"A": Node("A", 42, "D"), "D": Node("D", 42, "D")}
    committed = {"epoch": 42, "owner": "D"}
    cache = {"epoch": 40, "owner": "A"}
    request_id = "req-7"

    result = nodes[cache["owner"]].put(cache["epoch"], request_id)
    print("旧视图:", result)
    if result == "STALE_ROUTE":
        cache = committed.copy()  # 整份替换,避免版本与所有者混搭
        result = nodes[cache["owner"]].put(cache["epoch"], request_id)
    print("刷新后:", result)
    print("同请求重试:", nodes[cache["owner"]].put(cache["epoch"], request_id))
    print("新版本误送A:", nodes["A"].put(cache["epoch"], request_id))

if __name__ == "__main__":
    main()

预期输出:

text
旧视图: STALE_ROUTE
刷新后: OK
同请求重试: OK(replayed)
新版本误送A: STALE_ROUTE

seen 仅用于教学模拟。实际系统需要按客户端身份与 requestId 持久化去重结果,使写入成功但响应丢失后的重试不会重复执行;节点内存集合无法跨重启保证幂等。

客户端遇到过期路由怎样处理

旧视图请求被拒绝后,客户端向权威元数据服务读取一整份已提交快照,确认新 epoch 大于缓存版本,再按新的 s7 所有者重发原请求。收到路由变更推送时也执行相同的原子替换,推送断流则补拉快照。

触发情况 处理策略
返回 STALE_ROUTE 拉取最新路由,保留原 requestId 并重试
原所有者超时 先检查最新版本,避免无限向旧地址重试
新所有者尚未就绪 限次退避重试或报暂不可用,禁止回退到旧主写入
收到低于缓存的版本 忽略该更新,继续使用较新快照

例如单次业务写入设置总截止时间 2 秒、最多发送 3 次、最多刷新路由 1 次,并在重试间随机退避 50~200 毫秒。这些是演示用的客户端预算,需要按实际延迟与服务等级调整。对要求线性一致性的读请求,也应由当前有权服务该读的节点处理,不能因旧节点仍有数据就随意回退。

验收节点退出和故障恢复

在测试环境依次检查四种情况:

  1. v40 客户端在 v42 已提交后请求 A:必须拒绝,不能产生一笔新写入。
  2. 同一 requestId 经刷新路由发给 D 两次:只执行一次变更,第二次返回此前结果。
  3. 切换时隔离 A 与控制面的网络:旧任期不得再成功提交;如果无法证明旧租约失效或旧令牌被栅栏拦截,禁止宣布 D 已安全接管。
  4. A 重启或被重新加入:先作为非服务成员同步最新版映射和数据,核对实例标识、所有权任期与追赶位置后才可重新分配分片。

这里需要同时验证路由一致性与写入权互斥:客户端刷新解决请求送错位置,存储侧栅栏才阻止旧主在网络分区下继续写入。两者缺一,成员变更都不能算完成。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

节点成员变更怎样保持路由视图一致

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通