服务注册与分布式协调 / 系统课时

滚动升级与回退

滚动升级与回退

滚动升级的目标不是“逐台换包”这么简单,而是在任何时刻都保留可工作的多数派,并把每个节点的重启变成一个可验证的闸门。本文给出三节点集群的升级顺序、健康检查和停止条件,并说明什么时候不能贸然降级二进制。

学习目标

  • 在升级前确认版本路径、配置和数据恢复边界
  • 按单节点闸门完成升级,确保上一节点恢复后才处理下一节点
  • 根据故障位置决定重试、停止还是回退,并完成集群级验收

升级前先确认兼容性边界

先查看源版本到目标版本的 Release Notes、Upgrade FAQ 和 JDK 要求。若官方要求经过中间版本,就按支持路径升级,不要跨版本“试试看”。同时确认准备启用的新参数是否支持混合版本运行;某些新协议或新配置只能在所有节点完成升级后再启用。

升级窗口开始前应冻结成员变更和其他配置变更,保存当前 zoo.cfg、动态配置引用、每台机器的 myid、旧二进制包及可恢复的数据备份。不要把某台在线节点的 dataDir 目录随手复制一份就当成完整恢复方案。

先确认三台节点都在正常集群中。下面的路径按你的安装目录调整。

bash
ZK_HOME=/opt/zookeeper-current
for host in zk1 zk2 zk3; do
  echo "== $host =="
  ssh "$host" "$ZK_HOME/bin/zkServer.sh status"
done

预期输出的关键结果是恰好一个 Leader,其余投票节点为 Follower;具体附加日志和配置路径可能不同。

text
== zk1 ==
Mode: follower
== zk2 ==
Mode: follower
== zk3 ==
Mode: leader

如果此时已经缺少节点、频繁选主或有未解释的同步延迟,不要把升级当成修复手段,应先恢复健康基线。

按单节点闸门推进

三节点集群通常先处理 Follower,最后处理 Leader。这样前两次重启一般不需要主动触发 Leader 切换;升级 Leader 时即使发生选主,也是在其余节点已经验证过目标版本之后。

ZooKeeper 三节点滚动升级的逐节点闸门与回退分支

每个节点都遵循同一条闸门:停止一个节点,替换该节点二进制,保留正确的 dataDir、myid 和已验证配置,启动后等待重新加入,再做角色和客户端健康检查。只有全部通过,才进入下一台。

下面是部署无关的片段示例,<SERVICE>、<TARGET_HOME> 与 <CURRENT_HOME> 必须替换为实际值;示例假设配置和数据目录独立于安装目录,不会被符号链接切换覆盖。

bash
sudo systemctl stop <SERVICE>
sudo ln -sfn <TARGET_HOME> <CURRENT_HOME>
sudo systemctl start <SERVICE>
<CURRENT_HOME>/bin/zkServer.sh status

预期该节点启动成功并重新进入集群。升级 Follower 时关键输出类似:

text
Mode: follower

升级 Leader 时,新一轮选主后该节点可能显示 leader 或 follower,两者都可以;判断标准是整个集群最终只有一个 Leader,并恢复预期数量的 Follower/Observer。

每台重启后都做健康验证

仅看到进程存在还不够。每个闸门至少检查四件事:节点角色正常、集群没有持续选主、客户端能读到预期数据、一次专用健康检查写操作能够提交。升级期间成员关系不应被意外改变,因此还应核对当前动态配置。

bash
printf 'sync /zookeeper/config\nconfig -c\nquit\n' | <CURRENT_HOME>/bin/zkCli.sh -server zk1:2181

预期输出应保持升级前的成员地址集合,配置版本也不应因为单纯替换二进制而改变。

text
<VERSION> zk1:2181,zk2:2181,zk3:2181

业务侧再执行一笔不会破坏数据的 canary 读写,并观察会话断开率、请求延迟和错误率是否回到窗口前基线。若新节点长时间停在 LOOKING、无法同步或日志持续出现协议异常,立即停止后续升级。

出现异常时先冻结后续动作

故障发生在单个已升级节点,而其余节点仍有多数派时,最重要的动作是不要继续升级第二台。先保留现场日志、启动参数、JDK 版本和配置差异,判断是安装错误、配置不兼容,还是目标版本本身不适合当前路径。

回退二进制并不是通用安全按钮。只有当源版本与目标版本明确支持该降级路径,而且升级后尚未启用旧版本无法理解的新特性、协议或持久化格式时,才考虑把这一个节点切回旧版本。否则应按该版本的官方恢复路径处理,必要时从经过验证的备份恢复。

如果失败节点原来是 Leader,只要其余节点仍能形成多数派,就先让它们完成选主并稳定服务,再处理失败节点。不要同时回退多台,也不要拿一台旧节点的过期数据目录覆盖整个集群。

完成集群级验收再关闭回退窗口

全部节点升级后,再做一次完整验收:确认目标版本一致、只有一个 Leader、所有预期成员已加入、动态配置与升级前一致,客户端 canary 读写成功,且没有持续的会话抖动或重复选主。此时再启用那些要求全新版本才能使用的配置或功能。

最后保存升级后的配置与运行基线,并记录实际升级顺序、每台节点的验证结果和是否发生过回退。只有在新版本运行稳定且恢复材料已经更新后,旧二进制与临时回退入口才可以退出维护流程。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

滚动升级与回退

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通