服务注册与分布式协调 / 系统课时
从5节点安全缩容到3节点
从5节点安全缩容到3节点
ZooKeeper 从 5 节点缩到 3 节点时,安全顺序是先选择健康的非 Leader 成员,按 5→4→3 每次只移除一个投票成员,并在每一步确认新的多数派、客户端连接和剩余节点健康,最后才能停止进程和回收机器。
学习目标
- 根据多数派变化规划 5→4→3 的安全缩容顺序
- 使用动态重配置逐个移除成员,并通过配置版本避免并发修改
- 在资源回收前证明旧成员已经退出且剩余 3 节点可以独立提供读写服务
先选出可以移除的成员
5 节点集群的多数派为 3。缩成 4 节点后多数派仍为 3,再缩成 3 节点后多数派变为 2。这意味着第一步缩容后容错余量会下降,所以操作开始前最好确保全部 5 个节点都健康,而不是利用缩容去“顺便处理”一个正在故障的节点。
先读取当前成员和配置版本,并确认 5 个成员均存在。
./bin/zkCli.sh -server zk1:2181
config预期结果的关键部分如下。
server.1=zk1:2888:3888:participant;2181
server.2=zk2:2888:3888:participant;2181
server.3=zk3:2888:3888:participant;2181
server.4=zk4:2888:3888:participant;2181
server.5=zk5:2888:3888:participant;2181
version=<VERSION>然后确认当前 Leader。优先选择两个健康的 Follower 作为待下线成员,可以避免主动触发一次不必要的 Leader 选举。
for h in zk1 zk2 zk3 zk4 zk5; do
printf "%s " "$h"
echo srvr | nc -w 2 "$h" 2181 | grep '^Mode:'
done例如下面的状态中,可以优先规划移除 zk5 和 zk4。
zk1 Mode: follower
zk2 Mode: leader
zk3 Mode: follower
zk4 Mode: follower
zk5 Mode: follower先从5节点缩到4节点
假设第一台准备移除的是 server.5。执行前使用当前配置的 version 作为条件,防止管理员之间发生并发成员变更。

./bin/zkCli.sh -server zk1:2181
reconfig -v <VERSION> -remove 5
config预期结果应不再出现 server.5,并产生新的配置版本。
server.1=zk1:2888:3888:participant;2181
server.2=zk2:2888:3888:participant;2181
server.3=zk3:2888:3888:participant;2181
server.4=zk4:2888:3888:participant;2181
version=<NEW_VERSION>此时成员总数已经是 4,多数派仍然需要 3 票。立即检查剩余 4 个成员,只有全部健康时才进入下一次移除。
for h in zk1 zk2 zk3 zk4; do
printf "%s " "$h"
echo srvr | nc -w 2 "$h" 2181 | grep '^Mode:'
done预期结果仍应只有一个 Leader,其余节点为 Follower。
zk1 Mode: follower
zk2 Mode: leader
zk3 Mode: follower
zk4 Mode: follower确认 server.5 已从动态配置消失后,才可以停止 zk5 上的 ZooKeeper 进程。停止后不要立即删除数据目录,先保留到整个缩容流程完成,便于出现异常时排查历史状态。
再从4节点缩到3节点
第二次移除必须重新执行 config,取得第一次缩容之后的新版本号。假设 server.4 仍为健康 Follower,则以最新版本提交第二次变更。
./bin/zkCli.sh -server zk1:2181
config
reconfig -v <CURRENT_VERSION> -remove 4
config预期结果只剩 3 个投票成员,多数派随之变为 2。
server.1=zk1:2888:3888:participant;2181
server.2=zk2:2888:3888:participant;2181
server.3=zk3:2888:3888:participant;2181
version=<FINAL_VERSION>不要把 -remove 5 和 -remove 4 当成一次批量清理任务。逐步执行的价值在于:第一次移除后可以验证 4 节点集群是否真的稳定,再决定是否继续降低成员数和容错余量。
验证剩余集群和客户端
缩容完成后,先验证最终 3 个成员仍形成稳定集群。如果这里发生持续选举或某个节点不可达,不应继续资源回收。
for h in zk1 zk2 zk3; do
printf "%s " "$h"
echo srvr | nc -w 2 "$h" 2181 | grep '^Mode:'
done预期结果为一个 Leader 和两个 Follower。
zk1 Mode: follower
zk2 Mode: leader
zk3 Mode: follower随后使用客户端执行一次真实写入和读取,证明最终 3 节点集群能够独立提交事务。
./bin/zkCli.sh -server zk1:2181 <<'EOF'
create /reconfig-shrink-check shrink-<TIME>
get /reconfig-shrink-check
delete /reconfig-shrink-check
EOF预期结果的关键行如下,实际会话信息可能不同。
Created /reconfig-shrink-check
shrink-<TIME>客户端连接串也应同步移除已经退役的 zk4、zk5,至少保留最终 3 个有效地址。客户端短时间仍持有旧地址通常不会直接破坏 ZooKeeper 数据,但会产生无意义的连接重试,并让后续故障定位变得混乱。
资源回收前留下完成证据
最终回收 zk4、zk5 之前,应同时满足三个条件:动态配置只包含 server.1~server.3;3 个剩余节点角色稳定并能形成 2 票多数派;客户端已经可以通过剩余地址完成读写。满足这些条件后,再停止第二个退役节点并回收机器、磁盘或网络资源,缩容过程才真正闭环。