服务注册与分布式协调 / 系统课时

Leader 切换实验

Leader 切换实验

本实验通过主动停止三节点集群中的 Leader,观察剩余节点重新选举、客户端会话重连以及服务恢复。完成后你应能区分“节点故障”“选举窗口”和“会话过期”,并用角色与会话状态判断切换是否真正成功。

学习目标

  • 找出当前 Leader,并安全停止单个投票节点
  • 观察重新选举期间的客户端状态变化和会话恢复
  • 用节点角色与临时 znode 验证集群已经恢复服务

实验前检查

准备 3 个投票节点,例如 zk1、zk2、zk3,并确认它们都处于运行状态。实验期间只能停止当前 Leader;若三节点集群同时失去两个投票节点,将失去多数派,无法继续对外提供正常的写服务。

在任意可 SSH 到三台节点的终端执行以下命令。将 <PATH> 替换为 ZooKeeper 安装目录。

bash
for host in zk1 zk2 zk3; do
  echo "== $host =="
  ssh "$host" 'cd <PATH> && bin/zkServer.sh status conf/zoo.cfg | grep "^Mode:"'
done

预期输出应包含一个 leader 和两个 follower;具体哪台是 Leader 由当前选举结果决定。

text
== <FOLLOWER_1> ==
Mode: follower
== <LEADER> ==
Mode: leader
== <FOLLOWER_2> ==
Mode: follower

如果某台没有返回 Mode:,先处理进程、配置或端口问题,不要继续故障实验。

观察切换链路

Leader 停止后,存活的投票节点会检测到 Leader 失联并进入重新选举;形成新的多数派后,新 Leader 与 Follower 完成同步,再恢复正常处理请求。连接在旧 Leader 上的客户端会断开并尝试连接连接串中的其他服务器;连接在存活 Follower 上的客户端不一定发生 TCP 重连,但在选举窗口内同样可能看到请求短暂停顿。

Leader 停止后的重新选举与客户端重连时序

为了明确看到客户端重连,先用完整连接串启动 CLI,并从启动日志确认当前实际连接的是 <LEADER>;若不是,可退出后重新启动再观察。

bash
<PATH>/bin/zkCli.sh -server zk1:2181,zk2:2181,zk3:2181

预期结果是进入 ZooKeeper CLI,并看到 SyncConnected。日志前缀、IP 和会话 ID 会随环境变化。

text
... state:SyncConnected ...
[zk: ...]

在该会话中创建一个临时节点,<ID> 换成当前实验的唯一标识。

text
create -e /leader-switch-<ID> alive

预期结果:

text
Created /leader-switch-<ID>

执行 Leader 停止

另开一个终端,停止刚才识别出的 Leader。不要使用 kill -9 作为首选实验动作,正常停止更容易把“Leader 退出”与磁盘损坏等额外变量分开。

bash
ssh <LEADER> 'cd <PATH> && bin/zkServer.sh stop conf/zoo.cfg'

预期输出的关键结果应为:

text
Stopping zookeeper ... STOPPED

此时观察原来的 CLI。若它连接在旧 Leader 上,通常会先出现 Disconnected,随后在新的服务器上恢复为 SyncConnected;具体日志格式因客户端版本而异。若在会话超时前恢复,ZooKeeper 会继续使用原会话,而不是创建一个全新的业务会话。

验证集群与会话恢复

等待重新选举结束后,只检查仍存活的两个节点。它们应形成“一主一从”,说明两票构成了三投票节点集群的多数派。

bash
for host in <FOLLOWER_1> <FOLLOWER_2>; do
  echo "== $host =="
  ssh "$host" 'cd <PATH> && bin/zkServer.sh status conf/zoo.cfg | grep "^Mode:"'
done

预期结果是一台 leader、一台 follower:

text
Mode: leader
Mode: follower

回到先前保持打开的 CLI,读取临时节点。

text
get /leader-switch-<ID>

若客户端在 session timeout 内完成重连,预期能读到:

text
alive

如果节点已经不存在,同时客户端日志出现 Expired,说明会话在切换期间超时,临时节点被按会话语义删除;这与“新 Leader 没选出来”是两类问题。最后重新启动旧 Leader并再次检查角色,正常情况下它会同步到当前集群并以 Follower 身份加入。一次合格的实验应同时满足:存活节点恢复一主一从、客户端重新进入 SyncConnected、未过期会话的临时节点仍可读取。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

Leader 切换实验

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通