服务注册与分布式协调 / 系统课时

网络分区下的行为

网络分区下的行为

网络分区不会把 ZooKeeper 简单地切成两个都能写的集群。真正决定可用性的是多数派:能维持法定人数的一侧继续完成 ZAB 提交,少数派一侧无法形成新的提交链路。理解这一点,才能正确判断 Leader 隔离、客户端断连和会话超时。

学习目标

  • 判断 Leader 被隔离到少数派或多数派时,集群分别会发生什么
  • 解释客户端连接到不同分区后,读写、重连与会话的表现
  • 用法定人数和节点状态快速判断哪一侧仍具备写入能力

多数派决定哪一侧能继续工作

ZooKeeper 的原子广播依赖法定人数。对包含 NN 个投票成员的集群,提交事务和选举 Leader 都需要至少 ⌊N/2⌋+1\lfloor N/2 \rfloor + 1 个成员参与。三节点集群需要 2 票,五节点集群需要 3 票,因此网络分区后只有最多一侧可能同时拥有多数派。

bash
for n in 3 5; do
  quorum=$((n / 2 + 1))
  printf '%d-node ensemble needs %d votes\n' "$n" "$quorum"
done

预期输出:

text
3-node ensemble needs 2 votes
5-node ensemble needs 3 votes

这条规则直接排除了“两个分区各自继续写”的可能。少数派即使还保留原 Leader 或本地数据,也无法得到足够确认去提交新的 zxid。

网络分区后的多数派与少数派行为

Leader 被隔离时会发生什么

如果当前 Leader 被隔离在少数派,它不能再获得多数派确认,因此不能继续提交事务。剩余多数派成员经过超时检测后进入选举,在可形成 quorum 的一侧产生新的 Leader;旧 Leader 一侧最终退出正常 Leader/Follower 服务状态,避免双写。

如果 Leader 与多数派仍在同一侧,集群通常不需要因为“存在分区”本身就更换 Leader。被隔离的少数节点失去与 Leader 的有效同步后,会脱离正常服务链路,等待重新加入并追赶状态。

客户端连接到不同分区时

连接到多数派一侧正常成员的客户端可以继续提交写请求,读取也会继续进行。连接到少数派或被隔离成员的客户端可能先看到连接中断、请求超时或 CONNECTIONLOSS,随后由客户端库按照连接串尝试其他服务器。

会话是否保留取决于客户端能否在协商后的 session timeout 内重新连接到仍拥有 quorum 的集群。若超过超时时间,服务端会使会话过期,临时节点被删除,客户端收到 SESSIONEXPIRED 后必须创建新会话,而不是继续复用旧 session。

ZooKeeper 的普通读取可能由当前连接的服务器本地处理,因此“读成功”不能单独证明该侧拥有多数派。默认情况下少数派不会继续提供正常服务;若显式启用了只读模式,并且客户端允许只读连接,分区中的服务器可能提供只读访问,但不能提交写请求,而且读到的数据可能落后。若应用必须在关键流程前确认自己观察到最新提交,可结合 sync() 或通过业务协议设计更强的校验。

用状态与请求结果定位分区

排查时先回答两个问题:哪一侧拥有多数派,客户端当前连接到了哪台服务器。随后再看 Leader/Follower 状态、连接异常和会话是否过期。若使用 zkServer.sh status,应在每个节点本机执行并交叉比对,而不是只观察单点。

bash
zkServer.sh status

预期结果:多数派中的正常节点会报告当前角色;下面以 Leader 节点为例,Follower 节点会显示 Mode: follower。

text
Mode: leader

少数派节点在失去正常服务能力后,状态命令可能无法得到 leader 或 follower 模式;实际错误文本会随 ZooKeeper 版本和启动脚本不同而变化。判断时应把“是否形成多数派”作为主证据,而不是依赖某一条固定错误文案。

恢复网络后关注会话与数据追赶

网络恢复后,曾经处于少数派的服务器不会把自己的未提交状态强行合并到多数派。它会重新加入当前 Leader,按照 ZAB 的同步过程补齐已提交事务后再恢复正常角色。

客户端侧则要区分短暂断连与会话过期:前者通常可在重连后继续使用原会话;后者必须重建临时节点、Watcher 和依赖会话状态的业务上下文。生产排障时先确认 quorum,再确认客户端 session 状态,能避免把一致性保护机制误当成“ZooKeeper 随机不可用”。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

网络分区下的行为

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通