P2P 与分布式存储 / 系统课时
节点成员变更怎样保持路由视图一致
节点成员变更怎样保持路由视图一致
节点加入、退出或重新上线时,客户端可能仍按旧成员表把分片请求送往旧主。下面以分片 s7 从 A 迁往 D 为例,建立带版本的路由快照,演示拒绝旧请求、刷新重试,并明确怎样防止失联旧主继续确认写入。
学习目标
- 区分成员视图与分片所有权,并使用递增版本发布一致快照。
- 安排节点加入、退出及重上线时的数据追赶与写入栅栏。
- 实现旧路由拒绝、客户端刷新及请求幂等重试。
用版本快照绑定成员与路由
元数据服务对外发布的是一份已提交快照:epoch 表示视图版本,members 记录节点及状态,shardOwners 记录每个分片的当前写入所有者。同一版本内这三项必须匹配;不能单独更新成员名单,却沿用另一版本计算出的分片映射。
| 已提交版本 | 成员状态 | s7 写入所有者 | 客户端行为 |
|---|---|---|---|
| v40 | A、B、C 正常服务 | A | 向 A 写入 |
| v41 | D 加入,状态为 JOINING | A | 仍向 A 写入 |
| v42 | D 完成追赶并获得写权 | D | 改向 D 写入 |
发布者应依赖多数派提交或等价的一致性元数据机制,让所有客户端读到相同版本的映射。客户端只接受比当前缓存更新的完整快照,不能将 v41 的成员集合与 v42 的分片所有权拼在一起。视图版本由控制面分配,不使用机器本地时钟。
变更前先追赶数据并隔离旧写入方
- 加入:先将 D 注册为 JOINING,提交 v41;此时 D 不承接 s7 请求。
- 追赶:从 A 复制 s7 的一致性快照,再回放增量日志,确认 D 已追至允许接管的提交位置。仅复制完文件不代表可以接写。
- 栅栏:为 s7 授予新的所有权任期或写入令牌,让旧任期无法再成功提交。旧主 A 即使收不到停写通知,也不能继续确认写入;若依靠租约,必须确保旧租约已失效。
- 发布:D 获得有效写权后,控制面提交 v42,原子更新 s7 所有者为 D。准备过程未完成就返回可重试的暂不可用错误,而不是同时允许 A、D 写入。
- 退出与重上线:计划退出时先标记 DRAINING,迁走负责的分片后再移出成员表;故障节点恢复时使用新的进程实例标识,先拉取最新视图并校验数据,不得凭旧磁盘状态自动恢复主角色。

用 Python 验证旧请求必须被拒绝
以下是 Python 3.9+ 的最小模拟器。假定数据同步、栅栏和 v42 提交均已完成,A、D 均已安装新所有权状态。STALE_ROUTE 是本例自定义的协议状态,不是 Python 或某个存储产品的内置接口。
class Node:
def __init__(self, name: str, epoch: int, owner: str):
self.name = name
self.epoch = epoch
self.owner = owner
self.seen = set()
def put(self, route_epoch: int, request_id: str) -> str:
# 旧版本或非所有者均不得确认写入
if route_epoch != self.epoch or self.owner != self.name:
return "STALE_ROUTE"
if request_id in self.seen:
return "OK(replayed)"
self.seen.add(request_id)
return "OK"
def main():
# 模拟提交后的v42集群,客户端还缓存着v40
nodes = {"A": Node("A", 42, "D"), "D": Node("D", 42, "D")}
committed = {"epoch": 42, "owner": "D"}
cache = {"epoch": 40, "owner": "A"}
request_id = "req-7"
result = nodes[cache["owner"]].put(cache["epoch"], request_id)
print("旧视图:", result)
if result == "STALE_ROUTE":
cache = committed.copy() # 整份替换,避免版本与所有者混搭
result = nodes[cache["owner"]].put(cache["epoch"], request_id)
print("刷新后:", result)
print("同请求重试:", nodes[cache["owner"]].put(cache["epoch"], request_id))
print("新版本误送A:", nodes["A"].put(cache["epoch"], request_id))
if __name__ == "__main__":
main()预期输出:
旧视图: STALE_ROUTE
刷新后: OK
同请求重试: OK(replayed)
新版本误送A: STALE_ROUTEseen 仅用于教学模拟。实际系统需要按客户端身份与 requestId 持久化去重结果,使写入成功但响应丢失后的重试不会重复执行;节点内存集合无法跨重启保证幂等。
客户端遇到过期路由怎样处理
旧视图请求被拒绝后,客户端向权威元数据服务读取一整份已提交快照,确认新 epoch 大于缓存版本,再按新的 s7 所有者重发原请求。收到路由变更推送时也执行相同的原子替换,推送断流则补拉快照。
| 触发情况 | 处理策略 |
|---|---|
返回 STALE_ROUTE |
拉取最新路由,保留原 requestId 并重试 |
| 原所有者超时 | 先检查最新版本,避免无限向旧地址重试 |
| 新所有者尚未就绪 | 限次退避重试或报暂不可用,禁止回退到旧主写入 |
| 收到低于缓存的版本 | 忽略该更新,继续使用较新快照 |
例如单次业务写入设置总截止时间 2 秒、最多发送 3 次、最多刷新路由 1 次,并在重试间随机退避 50~200 毫秒。这些是演示用的客户端预算,需要按实际延迟与服务等级调整。对要求线性一致性的读请求,也应由当前有权服务该读的节点处理,不能因旧节点仍有数据就随意回退。
验收节点退出和故障恢复
在测试环境依次检查四种情况:
- v40 客户端在 v42 已提交后请求 A:必须拒绝,不能产生一笔新写入。
- 同一
requestId经刷新路由发给 D 两次:只执行一次变更,第二次返回此前结果。 - 切换时隔离 A 与控制面的网络:旧任期不得再成功提交;如果无法证明旧租约失效或旧令牌被栅栏拦截,禁止宣布 D 已安全接管。
- A 重启或被重新加入:先作为非服务成员同步最新版映射和数据,核对实例标识、所有权任期与追赶位置后才可重新分配分片。
这里需要同时验证路由一致性与写入权互斥:客户端刷新解决请求送错位置,存储侧栅栏才阻止旧主在网络分区下继续写入。两者缺一,成员变更都不能算完成。