服务注册与分布式协调 / 系统课时
滚动升级与回退
滚动升级与回退
滚动升级的目标不是“逐台换包”这么简单,而是在任何时刻都保留可工作的多数派,并把每个节点的重启变成一个可验证的闸门。本文给出三节点集群的升级顺序、健康检查和停止条件,并说明什么时候不能贸然降级二进制。
学习目标
- 在升级前确认版本路径、配置和数据恢复边界
- 按单节点闸门完成升级,确保上一节点恢复后才处理下一节点
- 根据故障位置决定重试、停止还是回退,并完成集群级验收
升级前先确认兼容性边界
先查看源版本到目标版本的 Release Notes、Upgrade FAQ 和 JDK 要求。若官方要求经过中间版本,就按支持路径升级,不要跨版本“试试看”。同时确认准备启用的新参数是否支持混合版本运行;某些新协议或新配置只能在所有节点完成升级后再启用。
升级窗口开始前应冻结成员变更和其他配置变更,保存当前 zoo.cfg、动态配置引用、每台机器的 myid、旧二进制包及可恢复的数据备份。不要把某台在线节点的 dataDir 目录随手复制一份就当成完整恢复方案。
先确认三台节点都在正常集群中。下面的路径按你的安装目录调整。
ZK_HOME=/opt/zookeeper-current
for host in zk1 zk2 zk3; do
echo "== $host =="
ssh "$host" "$ZK_HOME/bin/zkServer.sh status"
done预期输出的关键结果是恰好一个 Leader,其余投票节点为 Follower;具体附加日志和配置路径可能不同。
== zk1 ==
Mode: follower
== zk2 ==
Mode: follower
== zk3 ==
Mode: leader如果此时已经缺少节点、频繁选主或有未解释的同步延迟,不要把升级当成修复手段,应先恢复健康基线。
按单节点闸门推进
三节点集群通常先处理 Follower,最后处理 Leader。这样前两次重启一般不需要主动触发 Leader 切换;升级 Leader 时即使发生选主,也是在其余节点已经验证过目标版本之后。

每个节点都遵循同一条闸门:停止一个节点,替换该节点二进制,保留正确的 dataDir、myid 和已验证配置,启动后等待重新加入,再做角色和客户端健康检查。只有全部通过,才进入下一台。
下面是部署无关的片段示例,<SERVICE>、<TARGET_HOME> 与 <CURRENT_HOME> 必须替换为实际值;示例假设配置和数据目录独立于安装目录,不会被符号链接切换覆盖。
sudo systemctl stop <SERVICE>
sudo ln -sfn <TARGET_HOME> <CURRENT_HOME>
sudo systemctl start <SERVICE>
<CURRENT_HOME>/bin/zkServer.sh status预期该节点启动成功并重新进入集群。升级 Follower 时关键输出类似:
Mode: follower升级 Leader 时,新一轮选主后该节点可能显示 leader 或 follower,两者都可以;判断标准是整个集群最终只有一个 Leader,并恢复预期数量的 Follower/Observer。
每台重启后都做健康验证
仅看到进程存在还不够。每个闸门至少检查四件事:节点角色正常、集群没有持续选主、客户端能读到预期数据、一次专用健康检查写操作能够提交。升级期间成员关系不应被意外改变,因此还应核对当前动态配置。
printf 'sync /zookeeper/config\nconfig -c\nquit\n' | <CURRENT_HOME>/bin/zkCli.sh -server zk1:2181预期输出应保持升级前的成员地址集合,配置版本也不应因为单纯替换二进制而改变。
<VERSION> zk1:2181,zk2:2181,zk3:2181业务侧再执行一笔不会破坏数据的 canary 读写,并观察会话断开率、请求延迟和错误率是否回到窗口前基线。若新节点长时间停在 LOOKING、无法同步或日志持续出现协议异常,立即停止后续升级。
出现异常时先冻结后续动作
故障发生在单个已升级节点,而其余节点仍有多数派时,最重要的动作是不要继续升级第二台。先保留现场日志、启动参数、JDK 版本和配置差异,判断是安装错误、配置不兼容,还是目标版本本身不适合当前路径。
回退二进制并不是通用安全按钮。只有当源版本与目标版本明确支持该降级路径,而且升级后尚未启用旧版本无法理解的新特性、协议或持久化格式时,才考虑把这一个节点切回旧版本。否则应按该版本的官方恢复路径处理,必要时从经过验证的备份恢复。
如果失败节点原来是 Leader,只要其余节点仍能形成多数派,就先让它们完成选主并稳定服务,再处理失败节点。不要同时回退多台,也不要拿一台旧节点的过期数据目录覆盖整个集群。
完成集群级验收再关闭回退窗口
全部节点升级后,再做一次完整验收:确认目标版本一致、只有一个 Leader、所有预期成员已加入、动态配置与升级前一致,客户端 canary 读写成功,且没有持续的会话抖动或重复选主。此时再启用那些要求全新版本才能使用的配置或功能。
最后保存升级后的配置与运行基线,并记录实际升级顺序、每台节点的验证结果和是否发生过回退。只有在新版本运行稳定且恢复材料已经更新后,旧二进制与临时回退入口才可以退出维护流程。