P2P 与分布式存储 / 系统课时

主副本切换时怎样防止旧主写入

主副本切换时怎样防止旧主写入

主节点失联时,进程未必已经停止。多数派可能选出新主,而旧主仍认为自己有写权限,导致同一对象在两处被修改。本课通过三副本故障时序和 Python 实验,验证任期、租约与写入栅栏如何约束主节点权限。

学习目标

  • 识别网络分区后旧主继续接收写入的脑裂风险。
  • 区分任期编号、主节点租约与存储端栅栏的职责。
  • 运行故障模拟,确认旧任期请求不能覆盖新主的数据。

失联后为什么会出现两个“主”

假设对象 order-1 由 A、B、C 三个副本维护,选主和提交写入都要求至少 2/3 多数派。初始 A 是任期 7 的主节点,客户端写入 pending 并获得多数派确认。

  1. A 与 B、C 之间的网络中断,但 A 进程未退出,部分客户端仍能连接 A。
  2. B、C 构成多数派,选出 B 作为任期 8 的新主;A 尚未收到这一变化。
  3. B 可以按多数派协议提交 paid;A 即便收到旧连接发来的 canceled,也无法取得多数派提交确认,不能返回写入成功。

如果错误实现只检查本机的 isLeader 标志,A 就可能在失去多数派后继续对外确认写入。这种“旧主与新主同时自称主节点”的局面称为脑裂。接收请求不等于提交成功,故障演练必须分别检查两者。

主节点切换后通过任期栅栏拒绝旧主写入的时序

任期、租约与栅栏分别防什么

机制 示例与判定位置 作用和边界
任期(term/epoch) A 持有 7,B 经多数派选举进入 8 标识较新的领导权;任期必须单调递增,投票和已承诺状态需要可靠持久化
租约(lease) 假设授权持续 5 s,到期后旧主停止以主身份服务 缩短旧主继续服务的窗口;安全性取决于协议对时钟漂移、暂停和续租的约束,不能只凭本地计时推断所有节点已撤权
栅栏令牌(fencing token) 写入携带 epoch=7 或 8,存储端保存当前允许的 8 在实际修改数据前拒绝小于当前令牌的旧主请求,不能只在网关或客户端检查

这三种机制不是必须同时部署的固定组合。例如基于 Raft 的复制状态机依靠任期、日志匹配及多数派提交保证安全性,并不以租约作为写入正确性的前提。若使用独立存储或外部资源,必须让真正执行写入的路径验证领导权,不能把“选出新主”误认为“旧主已无法写任何地方”。

尤其要注意时序:新主获得授权后,应先使权威写入端认可更高的栅栏令牌,再允许该端提交新主写入。如果某个落后副本尚不知道 epoch=8,其本地令牌检查不能替代多数派提交与数据恢复规则。

用 Python 复现过期主节点被拒绝

下面使用 Python 3 标准库模拟一个共享的权威写入端。promote 代表多数派选主已经完成、写入端已安装新栅栏;put 在修改数据前检查任期及主节点身份。这是语义实验,不包含网络共识和磁盘持久化。

python
class Store:
    def __init__(self):
        self.epoch = 0
        self.leader = None
        self.data = {}

    def promote(self, leader, epoch):
        # 模拟选主完成后,写入端原子安装更高的栅栏令牌。
        if epoch <= self.epoch:
            raise ValueError("epoch must increase")
        self.epoch = epoch
        self.leader = leader

    def put(self, leader, epoch, key, value):
        # 检查必须发生在真实修改数据的位置。
        if epoch != self.epoch or leader != self.leader:
            return f"REJECT {leader} epoch={epoch}"
        self.data[key] = value
        return f"OK {key}={value}"

store = Store()
store.promote("A", 7)
print(store.put("A", 7, "order-1", "pending"))

store.promote("B", 8)
print(store.put("B", 8, "order-1", "paid"))
print(store.put("A", 7, "order-1", "canceled"))
print(f"FINAL {store.data['order-1']}")

预期输出:

text
OK order-1=pending
OK order-1=paid
REJECT A epoch=7
FINAL paid

删除 put 中的栅栏判断再运行,最终值就会变成 canceled:这说明旧主不必重新当选,也可能通过未经保护的写入入口污染最新状态。

故障切换怎样验收才算安全

在三副本测试环境中,先由 A 写入 pending 并确认已提交,再仅隔离 A 与 B/C 的复制和选主通信,保留一条客户端访问 A 的连接。等待 B/C 选出 B 后,由 B 提交 paid,最后通过旧连接向 A 发送 canceled。

验收时检查三个可观察结果:B 的写入得到多数派确认;A 不得返回成功的提交结果;A 恢复通信后识别更高任期、降为从节点,并按复制协议追上已提交数据。还应重启写入端,确认最大栅栏令牌不会因内存丢失而回退。

判断是否真正防住脑裂,应看旧任期写入能否被提交并确认,而不是仅看旧主是否停止响应网络请求。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

主副本切换时怎样防止旧主写入

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通