服务注册与分布式协调 / 系统课时

从3节点在线扩容到5节点

从3节点在线扩容到5节点

把 ZooKeeper 从 3 个投票成员扩到 5 个时,关键不是一次把两台机器写进配置,而是让成员关系按 3→4→5 两次提交,并在每次提交后确认新成员已同步、Leader 稳定且读写正常,再继续下一步。

学习目标

  • 按一次增加一个 voting member 的方式完成 3→4→5 在线扩容
  • 在每次变更后检查动态配置版本、成员同步状态和 Leader 稳定性
  • 用实际读写验证扩容后的集群能够继续对外提供服务

扩容前先确认集群具备变更条件

以下操作假设集群已经启用 ZooKeeper 动态重配置,并且 3 个现有节点全部健康。生产环境不要在已有成员故障、网络抖动或 Leader 频繁切换时叠加扩容操作。

先连接任意健康节点,读取当前动态成员配置。不同 ZooKeeper 版本的 CLI 输出可能包含额外字段,但必须能确认 server.1~server.3 和当前 version。

bash
./bin/zkCli.sh -server zk1:2181
config

预期结果的关键部分如下,其中版本值以实际环境为准。

text
server.1=zk1:2888:3888:participant;2181
server.2=zk2:2888:3888:participant;2181
server.3=zk3:2888:3888:participant;2181
version=<VERSION>

还要确认 3 个节点中只有一个 Leader,其余为 Follower。下面使用四字命令检查;若生产环境关闭了 srvr,应改用已经启用的 ZooKeeper 监控接口完成同等检查。

bash
for h in zk1 zk2 zk3; do
  printf "%s " "$h"
  echo srvr | nc -w 2 "$h" 2181 | grep '^Mode:'
done

预期结果应表现为一个 Leader 和两个 Follower,具体哪台是 Leader 不固定。

text
zk1 Mode: follower
zk2 Mode: leader
zk3 Mode: follower

按3到4再到5推进成员变更

3 节点集群需要 2 票形成多数派;加入第 4 个成员后,多数派变成 3;加入第 5 个成员后,多数派仍为 3。因此第一次增加成员提交成功后,不能立刻继续增加第 5 个节点,而要先确认第 4 个节点已经真正加入并完成同步。

3节点扩容到5节点的逐成员变更流程

先在 zk4 上准备与现有集群一致的 ZooKeeper 版本、数据目录和网络端口,并保证 myid 为 4。随后使用刚才读取到的配置版本执行带版本保护的成员增加操作。

bash
./bin/zkCli.sh -server zk1:2181
reconfig -v <VERSION> -add server.4=zk4:2888:3888:participant;2181
config

预期结果是成员配置出现 server.4,同时配置版本发生变化。

text
server.1=zk1:2888:3888:participant;2181
server.2=zk2:2888:3888:participant;2181
server.3=zk3:2888:3888:participant;2181
server.4=zk4:2888:3888:participant;2181
version=<NEW_VERSION>

-v 的作用类似乐观锁:只有当前配置版本仍与 <VERSION> 一致时才提交变更。如果其他管理员或自动化任务已经修改成员关系,本次操作应失败,而不是覆盖对方刚提交的配置。

启动或确认 zk4 已运行后,等待它完成数据同步,再检查 4 个节点的角色。不要只以进程存活作为扩容成功依据。

bash
for h in zk1 zk2 zk3 zk4; do
  printf "%s " "$h"
  echo srvr | nc -w 2 "$h" 2181 | grep '^Mode:'
done

预期结果应仍然只有一个 Leader,其余投票成员处于 Follower 状态。

text
zk1 Mode: follower
zk2 Mode: leader
zk3 Mode: follower
zk4 Mode: follower

确认第 4 个成员稳定后,再重新执行 config 获取最新版本,并以该版本增加 server.5。不能继续沿用第一次扩容之前的旧版本号。

bash
./bin/zkCli.sh -server zk1:2181
config
reconfig -v <CURRENT_VERSION> -add server.5=zk5:2888:3888:participant;2181
config

预期结果的成员部分应包含连续的 5 个投票节点。

text
server.1=zk1:2888:3888:participant;2181
server.2=zk2:2888:3888:participant;2181
server.3=zk3:2888:3888:participant;2181
server.4=zk4:2888:3888:participant;2181
server.5=zk5:2888:3888:participant;2181
version=<FINAL_VERSION>

用同步状态和读写请求验收

成员列表正确只是第一层验证。最终还要证明所有节点角色稳定,并且客户端能够完成真实写入和读取。先再次检查 5 个节点的角色,观察期间不应出现持续的 Leader 反复切换。

bash
for h in zk1 zk2 zk3 zk4 zk5; do
  printf "%s " "$h"
  echo srvr | nc -w 2 "$h" 2181 | grep '^Mode:'
done

预期结果是一个 Leader、四个 Follower;Leader 所在节点可以与扩容前不同。

text
zk1 Mode: follower
zk2 Mode: leader
zk3 Mode: follower
zk4 Mode: follower
zk5 Mode: follower

然后从客户端执行一次最小读写探针。测试路径应使用专门的临时节点,避免碰业务数据。

bash
./bin/zkCli.sh -server zk1:2181 <<'EOF'
create /reconfig-expand-check expansion-<TIME>
get /reconfig-expand-check
delete /reconfig-expand-check
EOF

预期结果的关键行如下;连接日志、时间和会话 ID 等动态内容可能不同。

text
Created /reconfig-expand-check
expansion-<TIME>

当最终动态配置包含 5 个成员、新增节点完成同步、Leader 保持稳定且读写探针成功后,3→5 在线扩容才算完成。后续如果还要继续扩容,应继续沿用“单成员变更、重新读取版本、健康验证、再进行下一次变更”的节奏。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

从3节点在线扩容到5节点

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通