服务注册与分布式协调 / 系统课时

安全移除已有投票成员

安全移除已有投票成员

本课完成一次可验证的 ZooKeeper 投票成员下线:先按删除后的规模重新计算多数派并确认剩余节点健康,再用条件化 reconfig -remove 删除成员,最后通过配置检查和 quorum write 证明新配置已经真正接管提交路径,而不是只看到一条命令成功。

学习目标

  • 能在删除 participant 前计算删除后的 quorum 和故障容忍度
  • 能使用 reconfig -remove 安全移除指定 server ID
  • 能确认被移除节点不再计票,并验证剩余集群仍可提交写请求和服务客户端

先算删完之后还能不能提交

简单多数派下,N 个 participant 需要 floor(N/2)+1 票才能形成 quorum。删除前不要只看现在还有几台机器在线,而要按删除后的 N 重新计算所需票数,并确认计划保留的健康节点不少于这个值。

变更 删除后 participant 新 quorum 还能容忍的投票成员故障
5 → 4 4 3 1
3 → 2 2 2 0

因此,从 3 个 participant 删除到 2 个虽然可以形成多数派配置,却失去单节点故障容忍能力;其中任意一个节点不可用,写请求就无法形成多数派。若待保留节点已经有故障、网络抖动或严重同步落后,应先恢复健康再做删除。

移除投票成员的检查与生效流程

读取当前配置并锁定删除对象

假设当前是 5 个 participant,要移除 server.5。先执行 config,核对 server ID、主机和端口,避免把机器名与 ZooKeeper 的数字 server ID 混淆,同时记录当前 version。

text
config

预期结果类似下面这样;<CONFIG_VERSION> 是本次读取到的真实配置版本:

text
server.1=zk1:2888:3888:participant;0.0.0.0:2181
server.2=zk2:2888:3888:participant;0.0.0.0:2181
server.3=zk3:2888:3888:participant;0.0.0.0:2181
server.4=zk4:2888:3888:participant;0.0.0.0:2181
server.5=zk5:2888:3888:participant;0.0.0.0:2181
version=<CONFIG_VERSION>

接着从监控、节点日志和客户端探测确认 server.1 到 server.4 都健康。删除过程中,系统从旧配置切换到新配置;在关键过渡阶段,旧配置和新配置都必须具备可用多数派,所以不能把先停掉待删节点再执行 reconfig 当成标准流程。

如果目标节点恰好是 Leader,移除它会触发重新选举并带来短暂不可用。没有特殊原因时,优先先移除 follower,可让成员变更和 Leader 切换两个风险不要叠加。

执行带版本条件的成员删除

确认剩余 4 个 participant 健康后,使用数字 server ID 删除成员。-v 使用上一节读取到的 <CONFIG_VERSION>,用于阻止基于旧成员列表提交变更。

text
reconfig -remove 5 -v <CONFIG_VERSION>

预期结果返回不再包含 server.5 的新配置:

text
Committed new configuration:
server.1=zk1:2888:3888:participant;0.0.0.0:2181
server.2=zk2:2888:3888:participant;0.0.0.0:2181
server.3=zk3:2888:3888:participant;0.0.0.0:2181
server.4=zk4:2888:3888:participant;0.0.0.0:2181
version=<ID>

重配置不会自动停止 zk5 进程。被移除节点会暂时以不计票的 follower 方式继续存在,因此不要把进程还活着误判为删除失败,也不要长期保留这种状态。先完成新配置验收,再排空客户端连接并停止或重新部署该节点。

用 quorum write 证明新配置已接管

reconfig 命令提交成功后,再读取一次 config,确认 server.5 已消失且剩余节点最终收敛到同一版本。随后执行一次新的写事务;相比只执行 sync,成功提交写请求更适合证明新配置已经具备可用多数派。

text
create /reconfig-remove-check-<ID> ok
get /reconfig-remove-check-<ID>
delete /reconfig-remove-check-<ID>

预期输出至少包含:

text
Created /reconfig-remove-check-<ID>
ok

客户端连接串也应逐步去掉已移除节点,避免新连接继续落到准备下线的地址。若业务要求额外验证重新选举能力,只有在再失去一个节点后仍能达到新 quorum 时才进行受控 Leader 切换;例如 4 个 participant 的 quorum 是 3,可以容忍 1 个节点离线,而 2 个 participant 的 quorum 是 2,不能再主动停掉其中任意一个进行故障演练。

当剩余节点配置一致、真实写请求可提交、客户端可正常读写,并且监控显示被移除的 server ID 已不再计入投票成员后,才停止旧节点。这样删除动作才从改了成员列表闭环为新多数派已经稳定接管服务。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

安全移除已有投票成员

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通