服务注册与分布式协调 / 系统课时

固化变更单备份与回滚门禁

固化变更单备份与回滚门禁

ZooKeeper 扩缩容和迁移最危险的情况不是命令执行失败,而是在拓扑已经改变后才发现没有可靠基线、没有明确停手条件,也不知道该回滚到什么状态。本节把配置备份、保护点、目标拓扑、逐步验证和回滚触发条件固化成标准变更单,让每一步都有继续或停止的明确依据。

学习目标

  • 在变更前保存足以恢复现场的动态配置、静态参数和数据保护信息
  • 把目标拓扑、执行步骤和验证项写成可复核的变更单
  • 为多数派、Leader、同步和业务异常设置强制停止与回滚门禁

变更前先保存可恢复基线

变更单的第一部分不是“准备执行什么”,而是“当前系统究竟是什么状态”。至少应记录当前动态成员配置、每台机器上的关键静态参数、投票成员与 Observer 列表、Leader 状态,以及数据目录对应的保护点信息。

动态重配置场景尤其要保留当前配置版本。回滚时不能依靠记忆重新拼接成员列表,因为一次错误的 server.X 地址、角色或端口就可能让恢复过程进一步复杂化。

下面示例在目标 ZooKeeper 节点上保存动态配置和关键配置文件。命令中的路径应按实际安装目录替换。

bash
#!/usr/bin/env bash
set -euo pipefail

backup_dir="${1:-/tmp/zk-change-backup}"
mkdir -p "$backup_dir"

# 动态配置用于记录当前投票成员和 Observer 拓扑。
printf 'reconfig\n' | nc 127.0.0.1 2181 > "$backup_dir/reconfig.txt"

# 静态参数也必须与动态成员配置一起保存,避免只恢复一半状态。
cp /etc/zookeeper/zoo.cfg "$backup_dir/zoo.cfg"

printf 'stat\n' | nc 127.0.0.1 2181 > "$backup_dir/stat.txt"
printf 'saved change baseline to %s\n' "$backup_dir"

预期输出:目录创建成功,并写入 reconfig.txt、zoo.cfg 和 stat.txt。若实际客户端端口不是 2181,应替换为 <PORT>。

text
saved change baseline to /tmp/zk-change-backup

备份文件只是配置基线,不等于完整数据备份。涉及迁移、磁盘调整或高风险缩容时,还应明确事务日志、快照和底层存储快照的保护点,并记录保护点时间 <TIME> 与恢复责任人。

把目标拓扑写成可比较结果

变更单必须明确“变更后应该有哪些成员”,而不能只写“新增两台机器”或“下线旧节点”。对于每个成员,应记录 server.X 标识、角色、主机地址、选举端口和客户端可达性要求。

变更前后拓扑应该能够直接比较。例如,从 3 个投票成员扩到 5 个时,需要明确新增成员什么时候完成同步、什么时候正式计入健康冗余,以及旧成员是否仍保留。

ZooKeeper变更单从基线到执行再到回滚的门禁流程

目标拓扑还要写清不变量,例如“任一时刻至少保持 3 个健康投票成员”“不得同时重启两个投票成员”“新成员完成同步前不删除旧成员”。这些不变量比单纯的操作步骤更重要,因为它们决定了遇到异常时是否还能安全停在当前状态。

每一步都要有继续门禁

不要把一次集群变更写成连续执行十几条命令的脚本。更安全的做法是一次只改变一个风险单元,然后验证集群重新稳定,再进入下一步。

每个步骤完成后至少检查:健康投票成员数是否达到预期、是否存在稳定 Leader、Follower 是否正常同步、客户端请求是否出现持续错误,以及当前拓扑是否与变更单中的阶段目标一致。

为了避免执行人员凭主观判断继续操作,可以把核心门禁写成脚本。下面示例要求当前健康成员数必须高于多数派门槛,并且 Leader、同步与业务检查全部通过,才允许进入下一步。

bash
#!/usr/bin/env bash
set -euo pipefail

voters="${VOTERS:?missing VOTERS}"
healthy="${HEALTHY:?missing HEALTHY}"
leader_ok="${LEADER_OK:?missing LEADER_OK}"
sync_ok="${SYNC_OK:?missing SYNC_OK}"
business_ok="${BUSINESS_OK:?missing BUSINESS_OK}"

majority=$(( voters / 2 + 1 ))

# 变更期间要求保留至少一个额外投票成员,不能贴着多数派边界继续操作。
if (( healthy <= majority )); then
  echo "STOP: quorum redundancy is insufficient"
  exit 2
fi

if (( leader_ok == 0 || sync_ok == 0 || business_ok == 0 )); then
  echo "STOP: validation failed"
  exit 3
fi

echo "PASS: continue to next change step"

预期输出:5 个投票成员中有 4 个健康成员,并且 Leader、同步和业务检查均通过时,可以继续下一步。

bash
VOTERS=5 HEALTHY=4 LEADER_OK=1 SYNC_OK=1 BUSINESS_OK=1 bash change-gate.sh

预期输出如下。实际脚本位置可替换为 <PATH>。

text
PASS: continue to next change step

如果把 HEALTHY 改为 3,脚本会返回非零退出码并阻止继续变更,因为此时 5 节点集群已经贴近多数派边界。

预先写清什么时候必须回滚

回滚条件必须在执行前确定,不能发生异常后再临时讨论。典型触发条件包括:Leader 长时间无法稳定、健康投票成员降到多数派门槛或以下、新成员持续无法完成同步、客户端错误率明显上升,以及实际成员配置与阶段目标不一致。

回滚目标也要具体。不要只写“恢复原配置”,而应注明恢复哪一版动态配置、哪些节点重新加入、哪些节点停止、是否需要恢复静态配置或数据保护点。若变更已经产生新的事务数据,直接恢复旧磁盘快照可能造成数据回退,因此数据级回滚必须单独评估,不能和成员配置回滚混为一谈。

用标准变更单形成闭环

一份可执行的变更单至少应包含六类内容:当前基线与备份位置、数据保护点、目标拓扑、按单个风险单元拆分的操作步骤、每一步验证标准,以及停止和回滚条件。执行人完成一步后必须记录实际结果,验证未通过就不得勾选下一步。

最终门禁原则可以压缩成一句话:没有可靠基线不开始,没有稳定多数派不继续,没有明确回滚目标不冒险。 当这三个条件被固化到模板和自动检查中,扩缩容与迁移才会从依赖个人经验的操作,变成可复核、可停止、可恢复的标准流程。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

固化变更单备份与回滚门禁

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通