服务注册与分布式协调 / 系统课时

回滚一次失败的成员变更

回滚一次失败的成员变更

成员变更失败时,只要集群仍保有多数派,就应优先使用 ZooKeeper 自己的动态重配置机制回滚,而不是手工改配置文件。本节把回滚拆成“锁定基线、撤销错误变更、核对配置版本、验证客户端”四步,避免在故障现场继续叠加成员差异。

学习目标

  • 使用变更前保存的成员配置和配置版本定义明确的回滚目标
  • 在仍有多数派时撤销错误加入、移除或地址调整,并避免并发覆盖其他变更
  • 从成员角色、配置版本、客户端连接和实际读写四个维度确认回滚完成

先锁定回滚基线

回滚前不要凭记忆重写成员列表。应拿出变更前保存的动态配置、成员 ID、客户端地址和验证结果,再读取当前配置,明确“当前状态”和“目标状态”的差异。

可以通过 CLI 读取当前动态配置。下面使用管道方式便于把结果保存到变更记录中。

bash
printf 'config\nquit\n' | bin/zkCli.sh -server <HOST>:<PORT> > /tmp/zk-config-current.txt
cat /tmp/zk-config-current.txt

预期结果

text
server.<ID>=<HOST>:<QUORUM_PORT>:<ELECTION_PORT>:<ROLE>;<CLIENT_PORT>
version=<CONFIG_VERSION>

真实输出会包含多条 server.<ID>,还可能带连接横幅;<CONFIG_VERSION> 是当前动态配置版本。回滚前至少要确认目标成员集合、每个成员的地址和角色,以及基线配置版本。

成员变更失败后的回滚路径

按错误类型撤销变更

如果只是误加入了一个新成员,最小回滚是移除该成员;如果误移除了原成员,则按原来的成员 ID 和地址重新加入。地址调整错误时,更适合直接提交一份与基线一致的完整成员集合,避免“先删再加”留下中间态。

以下命令是交互式 CLI 的完整调用示例,-v 使用刚刚读取到的配置版本,目的是在回滚期间如果别人又修改了成员配置,就让本次操作失败而不是覆盖新状态。

bash
printf 'reconfig -remove <ID> -v <CONFIG_VERSION>\nconfig\nquit\n' | bin/zkCli.sh -server <HOST>:<PORT>

预期结果

text
server.<ID>=<HOST>:<QUORUM_PORT>:<ELECTION_PORT>:<ROLE>;<CLIENT_PORT>
version=<NEW_CONFIG_VERSION>

回滚“误移除”时,把命令换成 reconfig -add server.<ID>=...;回滚多项地址或角色错误时,使用 reconfig -members "<MEMBER_LIST>" -v <CONFIG_VERSION> 一次提交完整目标集合。成员字符串必须来自变更前基线,不要在现场手工猜端口。

如果环境没有启用动态重配置,或当前版本不支持计划中的 reconfig 操作,不要在事故现场直接手改动态配置来模拟回滚。应切换到事先验证过的静态配置回滚流程,并以受控方式逐台重启,避免同时丢失多数派。

检查成员和角色是否回到目标状态

动态重配置成功只说明配置提交了,不代表所有成员都已经稳定。接下来要确认目标节点是否按预期成为 leader、follower 或 observer,并检查被移除节点是否已经退出投票集合。

在每台计划保留的服务器上执行状态检查:

bash
bin/zkServer.sh status

预期结果

text
Mode: <leader|follower|observer>

如果某节点长期处于无法连接、反复选举或配置版本不一致,应先处理节点地址、端口、防火墙和本地动态配置文件同步问题,再继续业务验收。不要因为 CLI 已返回成功就立刻结束变更窗口。

用客户端读写完成验收

最后从业务实际使用的客户端入口执行一次最小写入和读取,确认连接串中至少包含仍在服务的成员,并验证会话能够跨节点建立。

bash
printf 'create /reconfig-rollback-check ok\nget /reconfig-rollback-check\ndelete /reconfig-rollback-check\nquit\n' | bin/zkCli.sh -server <CLIENT_CONNECT_STRING>

预期结果

text
Created /reconfig-rollback-check
ok

<CLIENT_CONNECT_STRING> 应替换成业务真实连接串。验收时还应核对变更前后的配置版本、计划内成员数量、成员角色、业务关键路径读取结果,以及客户端是否仍在尝试连接已经移除或改址的旧节点。

只要多数派还在,失败成员变更的首选策略就是“用当前集群提交一次受版本保护的反向变更”。手工改动态配置文件或同时重启多台机器,会把一个可控的配置回滚问题变成选举和数据恢复问题。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

回滚一次失败的成员变更

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通