服务注册与分布式协调 / 系统课时
在失去多数派后恢复集群
在失去多数派后恢复集群
ZooKeeper 一旦失去多数派,写入和成员变更都会停住;此时最危险的动作不是“什么都不做”,而是把任意幸存节点直接当成最新副本并强行组新集群。本节给出一套以数据判定为先、仲裁重建为后的恢复路径,目标是尽量保住最后一个可证明的已提交状态。
学习目标
- 判断“失去多数派”和“单节点故障”的区别,明确哪些操作此时不能做
- 从幸存节点、事务历史和备份中选择可证明的恢复来源,而不是只看某个节点是否能启动
- 按隔离、取证、恢复、重建仲裁、验证的顺序完成一次低风险恢复
先确认真的失去了多数派
一个由 3 个投票成员组成的集群至少需要 2 个成员形成多数派,5 节点至少需要 3 个。多数派丢失后,剩余进程可能仍然存活,但无法选出有效 Leader,客户端写请求会超时或连接失败。
先从每个幸存节点保留现场信息,不要立即删除数据目录或修改成员列表。下面的命令只读取进程和目录状态,实际路径按环境替换。
echo "== process =="
ps -ef | grep '[z]ookeeper'
echo "== data files =="
find <DATA_DIR>/version-2 -maxdepth 1 -type f -printf '%f\n' | sort
echo "== dynamic config =="
ls -l <CONF_DIR>/*dynamic* 2>/dev/null || true预期结果
== process ==
<ZOOKEEPER_PROCESS_LINE>
== data files ==
log.<HEX_ZXID>
snapshot.<HEX_ZXID>
== dynamic config ==
<DYNAMIC_CONFIG_FILE><DATA_DIR>、<CONF_DIR>、进程号和十六进制 ZXID 都是环境相关值。重点不是比较文件名大小,而是确认每台幸存节点还保留了哪些快照、事务日志和成员配置。

选择恢复来源
ZooKeeper 的“进程还活着”不等于“数据就是最新”。Leader 和 Follower 在故障前可能处于不同同步阶段,单个节点上更大的 ZXID 也不能自动证明那笔事务已经被历史多数派提交。
恢复来源按证据强度选择:优先使用能够被历史多数派状态、监控记录或一致事务历史共同证明的提交点;其次使用已经做过可恢复性验证的备份。只有一个孤立副本、且无法证明其最后事务是否提交时,应把它视为“候选数据源”,而不是权威副本。
可以对候选事务日志做离线解析。先停掉对应 ZooKeeper 进程,再复制数据目录到取证位置,对副本执行工具,避免在原目录上做试验。
cp -a <DATA_DIR> <FORENSIC_DIR>/node-<ID>-data
bin/zkTxnLogToolkit.sh <FORENSIC_DIR>/node-<ID>-data/version-2/log.<HEX_ZXID>预期结果
<TRANSACTION_LOG_RECORDS>不同 ZooKeeper 版本的工具输出格式可能不同。判断标准是日志能够被完整解析,并能与其他幸存节点或备份记录交叉验证;如果出现损坏、截断,或只有单节点持有无法证明已提交的尾部事务,就不能把那部分数据直接当作恢复基线。
先隔离旧成员,再重建仲裁
确定恢复基线后,先把所有旧成员从客户端和彼此的网络路径上隔离,并停止残留进程。恢复期间只允许一套受控成员启动,防止旧配置中的节点突然回来参与选举。
接着使用同一份已确认的成员配置和同一恢复点的数据恢复足够数量的投票节点。3 节点配置至少恢复 2 个,5 节点配置至少恢复 3 个。复制恢复数据时应保持快照、事务日志和 epoch 元数据属于同一恢复点,每台服务器仍必须使用唯一的 myid,并保持成员 ID 与配置一致。
如果使用替代机器,在多数派恢复之前应先承接已存在于可信配置中的成员身份和地址;不要在没有仲裁的情况下顺便引入全新的成员列表。等集群重新形成多数派后,再通过正常成员变更流程调整地址或扩缩容。
启动时一次只放行计划内节点,观察是否完成选举。完成多数派后再继续后续成员变更,不要在 LOOKING 状态反复重启所有机器。
验证恢复结果
集群重新形成多数派后,先做最小读写验证,再解除客户端流量。下面示例创建一个临时节点并读回,验证写入已经经过新的仲裁链路。
printf 'create /recovery-check ok\nget /recovery-check\ndelete /recovery-check\nquit\n' | bin/zkCli.sh -server <HOST>:<PORT>预期结果
Created /recovery-check
ok<HOST> 和 <PORT> 以实际客户端地址为准;交互输出还可能包含连接横幅和事件信息。除了这次读写,还要检查所有投票成员角色、当前成员配置、业务关键 znode、客户端重连情况,并确认恢复点之后是否存在需要业务侧补偿的数据。
如果无法证明哪个幸存节点包含最后一个已提交状态,最安全的结论不是“挑看起来最新的那个”,而是承认恢复点存在不确定性,回退到最近一次已验证备份,并把可接受的数据损失窗口作为明确的 RPO 记录下来。