服务注册与分布式协调 / 系统课时
建立变更前健康检查基线
建立变更前健康检查基线
扩容、缩容或迁移 ZooKeeper 节点前,先把集群当前的正常状态记录下来。本节建立一份可重复执行的健康检查基线,覆盖节点角色、请求延迟、同步成员、磁盘空间与动态配置版本,避免把已有故障误判成变更造成的问题。
学习目标
- 确认 Leader、Follower、Observer 等角色以及客户端可连接状态
- 记录延迟、同步成员、待同步请求和磁盘空间等关键指标
- 保存当前动态配置与版本,形成变更前可对照的基线
先确认集群角色和连接状态
变更开始前,所有预期成员都应该处于可服务状态。先逐台执行 zkServer.sh status,确认节点确实加入目标集群,并记录当前角色。
for host in zk1 zk2 zk3; do
echo "===== $host ====="
ssh "$host" '/opt/zookeeper/bin/zkServer.sh status'
done预期输出
===== zk1 =====
Mode: leader
===== zk2 =====
Mode: follower
===== zk3 =====
Mode: follower实际输出通常还包含客户端端口、配置文件路径等信息,不同 ZooKeeper 版本格式可能略有差异。关键是确认只有一个 Leader,其他投票成员能够正常成为 Follower,计划中的 Observer 仍保持 Observer 角色。
记录延迟和同步状态
如果服务端允许 mntr 四字命令,可以从运行指标中快速判断集群是否已经存在积压。生产环境通常需要在 4lw.commands.whitelist 中显式允许 mntr,未开启时不要为了本次检查临时扩大不必要的命令权限。
for host in zk1 zk2 zk3; do
echo "===== $host ====="
printf 'mntr\n' | nc "$host" 2181 | grep -E 'zk_server_state|zk_avg_latency|zk_max_latency|zk_outstanding_requests|zk_synced_followers|zk_pending_syncs'
done预期输出
===== zk1 =====
zk_server_state leader
zk_avg_latency <LATENCY>
zk_max_latency <LATENCY>
zk_outstanding_requests <COUNT>
zk_synced_followers <COUNT>
zk_pending_syncs <COUNT>
===== zk2 =====
zk_server_state follower
zk_avg_latency <LATENCY>
zk_max_latency <LATENCY>
zk_outstanding_requests <COUNT>这里不要机械追求某个固定阈值,而要把当前稳定时的数值保存下来。Leader 上的 zk_synced_followers 应与实际已同步的 Follower 数量相符,zk_pending_syncs 和 zk_outstanding_requests 如果持续增长,说明集群不适合立即进入成员变更。
检查磁盘和事务目录
ZooKeeper 的事务日志和快照目录一旦接近满盘,写请求延迟会急剧上升,严重时节点会退出服务。变更前应检查 dataDir、dataLogDir 所在文件系统,而不是只看系统盘总体剩余空间。
for host in zk1 zk2 zk3; do
echo "===== $host ====="
ssh "$host" "df -h /var/lib/zookeeper /var/log/zookeeper"
done预期输出
===== zk1 =====
Filesystem Size Used Avail Use% Mounted on
<DEVICE> <SIZE> <USED> <FREE> <PERCENT> <MOUNT>
===== zk2 =====
Filesystem Size Used Avail Use% Mounted on
<DEVICE> <SIZE> <USED> <FREE> <PERCENT> <MOUNT>
===== zk3 =====
Filesystem Size Used Avail Use% Mounted on
<DEVICE> <SIZE> <USED> <FREE> <PERCENT> <MOUNT>如果实际部署路径不同,应替换为真实的 dataDir 与 dataLogDir。基线至少记录使用率和可用空间;如果某台节点明显高于其他节点,应先确认快照清理、事务日志滚动或磁盘异常。
保存当前动态配置版本
启用动态重配置的集群会在静态配置中通过 dynamicConfigFile 指向当前成员配置文件。变更前保存文件路径、成员列表和末尾的 version,后续才能确认是否发生了预期之外的配置变化。
ZK_HOME=/opt/zookeeper
DYNAMIC_FILE=$(grep '^dynamicConfigFile=' "$ZK_HOME/conf/zoo.cfg" | cut -d= -f2-)
echo "dynamicConfigFile=$DYNAMIC_FILE"
cat "$DYNAMIC_FILE"预期输出
dynamicConfigFile=<PATH>
server.1=zk1:2888:3888;2181
server.2=zk2:2888:3888;2181
server.3=zk3:2888:3888;2181
version=<VERSION>version 用来标识这份动态成员配置对应的配置事务版本。真正执行重配置前,应再次读取并核对版本,避免运维人员基于已经过期的成员列表继续操作。
固化一份可比较的基线
最终记录不必复杂,但要保证变更后能按同样的方法再次采集。至少保存节点角色、Leader 的同步成员数量、平均与最大延迟、待处理请求、磁盘可用空间、动态成员列表以及配置版本。
只有当角色正常、成员同步稳定、没有持续请求积压、关键磁盘空间充足且当前配置版本已经留档时,才适合进入后续扩容、缩容或节点迁移。