服务注册与分布式协调 / 系统课时
完成扩容替换缩容综合演练
完成扩容替换缩容综合演练
本节把扩容、跨故障域替换、Leader 故障和缩容串成一次完整变更:从健康的 3 节点集群出发,最终回到新的 3 节点拓扑,并用配置版本、命令输出和校验结果形成可审计证据链。
学习目标
- 独立完成 3→5 扩容、单成员替换、Leader 故障恢复和 5→3 缩容。
- 使用条件重配置版本控制制造并识别一次受控错误,确认失败不会污染成员配置。
- 按变更单保存前后配置、健康检查和操作输出,得到可复核的恢复证据。
演练边界与证据链
假设初始投票成员为 server.1=zk-a1、server.2=zk-b1、server.3=zk-c1,分别位于三个故障域;扩容加入 server.4=zk-d1、server.5=zk-e1,随后用 server.6=zk-d2 替换 server.2。所有节点使用相同 ZooKeeper 版本,动态重配置已启用,管理账号具备 reconfig 权限;ZooKeeper CLI 的动态重配置前置条件包括 reconfigEnabled=true 和相应授权。

先建立证据目录,并确认静态配置允许动态重配置。以下路径按常见安装布局编写,若实际目录不同只替换 ZK_HOME。
export ZK_HOME=/opt/zookeeper
export ADMIN=zk-a1:2181
export EVIDENCE=./evidence-<ID>
mkdir -p "$EVIDENCE"
grep '^reconfigEnabled=' "$ZK_HOME/conf/zoo.cfg"预期输出:
reconfigEnabled=true变更单至少记录计划成员表、当前配置版本、操作人、开始时间、回滚触发条件和每一步实际结果。成员增删之间不要复用旧版本号;每次成功提交后都重新读取 /zookeeper/config。-v 条件重配置只会在当前配置版本匹配时提交,不匹配会以 BadVersion 失败。
建立三节点基线
先同步配置节点,再读取当前动态配置。config 输出最后的 version 就是后续条件重配置要使用的版本值,实际值可能不同。
date -Is | tee "$EVIDENCE/00-start-time.txt"
printf 'sync /zookeeper/config\nconfig\nquit\n' \
| "$ZK_HOME/bin/zkCli.sh" -server "$ADMIN" 2>&1 \
| tee "$EVIDENCE/01-baseline-config.txt"预期输出应先记录时间,并包含三条成员记录和一个配置版本:
<TIME>
server.1=zk-a1:2888:3888:participant;zk-a1:2181
server.2=zk-b1:2888:3888:participant;zk-b1:2181
server.3=zk-c1:2888:3888:participant;zk-c1:2181
version=<BASE_VERSION>此时先不要进入扩容。三台现有节点都应能对外服务,且只能有一个 Leader。新节点 4、5、6 应提前完成数据目录、myid、端口、防火墙和故障域检查,但不能用“先停旧节点再改成员表”的方式做替换。
扩容到五节点并制造受控错误
节点 4 和 5 不能直接靠一条 reconfig -add“凭空出现”。加入前要让它们先连接并同步当前 Leader。安全做法是给 joiner 一份启动引导配置:保留当前 1、2、3 为 participant,把待加入的 4、5 暂列为 observer,避免两个新节点先形成自己的多数派。
server.1=zk-a1:2888:3888:participant;zk-a1:2181
server.2=zk-b1:2888:3888:participant;zk-b1:2181
server.3=zk-c1:2888:3888:participant;zk-c1:2181
server.4=zk-d1:2888:3888:observer;zk-d1:2181
server.5=zk-e1:2888:3888:observer;zk-e1:2181这是 joiner 的启动引导片段,不是最终成员表。确认新节点已经连到当前 Leader 并完成同步后,再一次性加入两个 participant。把 <BASE_VERSION> 替换为刚才证据文件中的真实值。
printf '%s\n' \
'reconfig -add server.4=zk-d1:2888:3888:participant;zk-d1:2181,server.5=zk-e1:2888:3888:participant;zk-e1:2181 -v <BASE_VERSION>' \
'config' \
'quit' \
| "$ZK_HOME/bin/zkCli.sh" -server "$ADMIN" 2>&1 \
| tee "$EVIDENCE/10-expand-to-5.txt"预期结果:
server.1=zk-a1:2888:3888:participant;zk-a1:2181
server.2=zk-b1:2888:3888:participant;zk-b1:2181
server.3=zk-c1:2888:3888:participant;zk-c1:2181
server.4=zk-d1:2888:3888:participant;zk-d1:2181
server.5=zk-e1:2888:3888:participant;zk-e1:2181
version=<EXPANDED_VERSION>现在故意制造一次可恢复错误:仍使用已经过期的 <BASE_VERSION> 请求替换成员。该请求应被版本检查拒绝,因此不需要做反向 reconfig;真正的“回滚结果”就是成员表保持扩容后的五节点状态。
printf '%s\n' \
'reconfig -remove 2 -add server.6=zk-d2:2888:3888:participant;zk-d2:2181 -v <BASE_VERSION>' \
'quit' \
| "$ZK_HOME/bin/zkCli.sh" -server "$ADMIN" 2>&1 \
| tee "$EVIDENCE/11-stale-version-rejected.txt"预期结果包含 BadVersion,并且再次执行 config 时仍能看到 server.2,看不到 server.6:
KeeperErrorCode = BadVersion for /zookeeper/config这个错误验证了变更单中的并发保护:拿旧成员表做决定的操作不会覆盖更新后的集群配置。
跨故障域替换单成员
重新执行 sync /zookeeper/config 和 config,取得当前 <CURRENT_VERSION>。server.6 也应先用“当前 1~5 成员 + 自己为 observer”的引导配置启动并同步 Leader;确认 peer 端口和同步状态正常后,再把“移除 2”和“加入 6”放在同一条增量重配置里,避免先删后加造成无谓的容错能力下降。
printf '%s\n' \
'sync /zookeeper/config' \
'reconfig -remove 2 -add server.6=zk-d2:2888:3888:participant;zk-d2:2181 -v <CURRENT_VERSION>' \
'config' \
'quit' \
| "$ZK_HOME/bin/zkCli.sh" -server "$ADMIN" 2>&1 \
| tee "$EVIDENCE/20-replace-member.txt"预期成员集合变为 1,3,4,5,6,并产生新的版本:
server.1=zk-a1:2888:3888:participant;zk-a1:2181
server.3=zk-c1:2888:3888:participant;zk-c1:2181
server.4=zk-d1:2888:3888:participant;zk-d1:2181
server.5=zk-e1:2888:3888:participant;zk-e1:2181
server.6=zk-d2:2888:3888:participant;zk-d2:2181
version=<REPLACED_VERSION>配置返回成功后,再提交一个普通写操作作为“激活屏障”。ZooKeeper 的重配置请求返回并不等价于新配置已经在足够节点上完成最终激活;在停掉被移除的旧成员前,等待一次后续 quorum 写提交更稳妥。
printf 'create /reconfig-barrier-<ID> "after-replace"\nget /reconfig-barrier-<ID>\ndelete /reconfig-barrier-<ID>\nquit\n' \
| "$ZK_HOME/bin/zkCli.sh" -server 'zk-a1:2181,zk-c1:2181,zk-d1:2181,zk-e1:2181,zk-d2:2181' 2>&1 \
| tee "$EVIDENCE/21-replace-barrier.txt"预期结果:
Created /reconfig-barrier-<ID>
after-replace到这里才停止旧的 server.2 进程。不要手工修改动态配置文件名中的版本;ZooKeeper 使用该版本判断最新动态配置,手工篡改可能造成不一致。也不要把旧节点停机当成“移除成员”的替代动作。
注入 Leader 故障并验证恢复
在当前五个成员上分别执行状态检查,找出唯一 Leader。这里的命令在各节点本机执行。
"$ZK_HOME/bin/zkServer.sh" status "$ZK_HOME/conf/zoo.cfg" | grep '^Mode:'预期结果是五台中一台返回 Leader,其余返回 Follower:
Mode: leader在确认的 Leader 主机上停止 ZooKeeper,并记录进程已退出。故障注入只针对服务进程,不删除数据目录。
"$ZK_HOME/bin/zkServer.sh" stop "$ZK_HOME/conf/zoo.cfg"
pgrep -f 'org.apache.zookeeper.server.quorum.QuorumPeerMain' >/dev/null || echo stopped预期输出:
stopped把连接串改为当前五个成员,随后做一次真实写入、读取和删除。<ID> 与 <TIME> 是本次演练唯一值,实际值可以不同。
export CONNECT='zk-a1:2181,zk-c1:2181,zk-d1:2181,zk-e1:2181,zk-d2:2181'
printf 'create /reconfig-drill-<ID> "<TIME>"\nget /reconfig-drill-<ID>\ndelete /reconfig-drill-<ID>\nquit\n' \
| "$ZK_HOME/bin/zkCli.sh" -server "$CONNECT" 2>&1 \
| tee "$EVIDENCE/30-leader-failure-rw.txt"预期结果:
Created /reconfig-drill-<ID>
<TIME>只要剩余四个投票成员保持互通,五节点集群仍具备多数派,可以重新选举并继续提交写请求。验证完成后,在原 Leader 主机重新启动 ZooKeeper,再检查本机角色。
"$ZK_HOME/bin/zkServer.sh" start "$ZK_HOME/conf/zoo.cfg"
sleep 5
"$ZK_HOME/bin/zkServer.sh" status "$ZK_HOME/conf/zoo.cfg" 2>&1 \
| tee "$EVIDENCE/31-restarted-node-status.txt" \
| grep '^Mode:'预期结果是节点重新加入当前配置;稳定后它会显示为 Leader 或 Follower,具体角色取决于当时选举结果:
Mode: <leader|follower>缩回三节点并验收
最终保留 server.1、server.3、server.6,让三个成员仍分布在独立故障域。先执行 sync /zookeeper/config 和 config 取得当前 <V5>,再分两次缩容:先移除 4,再读取新版本 <V4> 后移除 5。这样每一步都能单独验证,发现异常时停止后续动作。
printf '%s\n' \
'reconfig -remove 4 -v <V5>' \
'config' \
'quit' \
| "$ZK_HOME/bin/zkCli.sh" -server "$CONNECT" 2>&1 \
| tee "$EVIDENCE/40-shrink-to-4.txt"预期结果为成员集合 1,3,5,6,并得到新的 <V4>:
server.1=zk-a1:2888:3888:participant;zk-a1:2181
server.3=zk-c1:2888:3888:participant;zk-c1:2181
server.5=zk-e1:2888:3888:participant;zk-e1:2181
server.6=zk-d2:2888:3888:participant;zk-d2:2181
version=<V4>确认四节点健康后,再用刚得到的 <V4> 移除 5,并保存最终配置。
printf '%s\n' \
'reconfig -remove 5 -v <V4>' \
'create /reconfig-final-barrier-<ID> "final-3"' \
'get /reconfig-final-barrier-<ID>' \
'delete /reconfig-final-barrier-<ID>' \
'sync /zookeeper/config' \
'config' \
'quit' \
| "$ZK_HOME/bin/zkCli.sh" -server 'zk-a1:2181,zk-c1:2181,zk-d2:2181' 2>&1 \
| tee "$EVIDENCE/41-final-3.txt"预期结果同时包含写屏障成功和最终三成员表:
Created /reconfig-final-barrier-<ID>
final-3
server.1=zk-a1:2888:3888:participant;zk-a1:2181
server.3=zk-c1:2888:3888:participant;zk-c1:2181
server.6=zk-d2:2888:3888:participant;zk-d2:2181
version=<FINAL_VERSION>最后对证据文件做摘要,确保之后能确认文件未被修改。
sha256sum "$EVIDENCE"/*.txt > "$EVIDENCE/SHA256SUMS"
cat "$EVIDENCE/SHA256SUMS"预期输出每个证据文件一行摘要,哈希值会因内容不同而变化:
<SHA256> ./evidence-<ID>/00-start-time.txt
<SHA256> ./evidence-<ID>/01-baseline-config.txt
<SHA256> ./evidence-<ID>/10-expand-to-5.txt
<SHA256> ./evidence-<ID>/11-stale-version-rejected.txt
<SHA256> ./evidence-<ID>/20-replace-member.txt
<SHA256> ./evidence-<ID>/21-replace-barrier.txt
<SHA256> ./evidence-<ID>/30-leader-failure-rw.txt
<SHA256> ./evidence-<ID>/31-restarted-node-status.txt
<SHA256> ./evidence-<ID>/40-shrink-to-4.txt
<SHA256> ./evidence-<ID>/41-final-3.txt最终写屏障提交后,才能停止并下线已移除的 server.4、server.5。演练验收不是“命令都执行过”,而是最终三节点成员表正确、三节点均健康、读写成功、旧成员已退出投票集合、故障注入后业务仍可提交,并且每一步都有时间、配置版本、命令和结果可追溯。任何一步不满足这些条件,都应停止继续缩容并按最近一次已验证配置恢复。