服务注册与分布式协调 / 系统课时
排查新成员迟迟无法同步
排查新成员迟迟无法同步
新节点加入后长期不能稳定工作,通常不是一个单点原因。需要沿“先能连上 Leader,再能读写本地数据,最后完成事务追赶”的顺序检查网络、解析、磁盘、事务日志、快照和同步进度,才能区分连接失败、追赶过慢与本地数据异常。
学习目标
- 按连接、存储、数据追赶三个层次定位新成员同步失败。
- 通过日志和系统命令区分网络问题、磁盘问题与本地数据损坏。
- 在不破坏多数派数据的前提下完成恢复与验证。
先判断是不是连不上 Leader
新成员要参与选举并同步数据,至少需要 quorum 通信端口和选举端口双向可达。先检查地址解析,再检查 2888、3888 等实际配置端口;如果使用了自定义端口,以 zoo.cfg 或动态配置为准。
getent hosts zk1 zk2 zk3 zk4
nc -vz zk1 2888
nc -vz zk1 3888预期输出示例:
10.0.0.11 zk1
10.0.0.12 zk2
10.0.0.13 zk3
10.0.0.14 zk4
Connection to zk1 2888 port [tcp/*] succeeded!
Connection to zk1 3888 port [tcp/*] succeeded!如果主机名解析到了旧 IP,或者端口连接超时,优先修 DNS、/etc/hosts、安全组、防火墙或容器网络。此时反复删除数据目录没有意义,因为节点连同步源都到不了。

再确认本地磁盘能正常写入
ZooKeeper 的事务日志和快照都依赖本地磁盘。磁盘满、inode 耗尽、目录只读或权限不正确,都会让新节点表现为“不断连接、不断重试,却始终追不上”。
df -h /var/lib/zookeeper
df -i /var/lib/zookeeper
test -w /var/lib/zookeeper && echo writable || echo not-writable预期输出应满足磁盘和 inode 都有余量,并且目录可写:
Filesystem Size Used Avail Use% Mounted on
<DEVICE> <SIZE> <SIZE> <SIZE> <PERCENT> /
Filesystem Inodes IUsed IFree IUse% Mounted on
<DEVICE> <COUNT> <COUNT> <COUNT> <PERCENT> /
writable这里的 <DEVICE>、容量和比例会随机器变化。若目录不可写,先修属主、挂载状态或磁盘空间,再重启节点验证;不要直接清空数据目录。
用日志判断追赶停在哪
网络和磁盘正常后,重点看节点日志。健康的新成员会先与 Leader 建立连接,再进行差异同步、截断或快照同步,最后进入稳定角色。不同 ZooKeeper 版本日志措辞会略有不同,因此应关注含义而不是死记单个关键字。
grep -Ei "leader|follower|observer|sync|snap|trunc|diff|txn|exception|error" /var/log/zookeeper/zookeeper.log | tail -n 80预期结果不是某一条固定日志,而是能看到同步阶段持续向前推进,最终出现稳定连接或角色状态;例如:
<LOG> connected to leader <HOST>
<LOG> synchronization completed
<LOG> FOLLOWING - LEADER ELECTION TOOK - <TIME>如果日志长期重复连接 Leader,优先回到网络与会话超时;如果持续加载快照且进度很慢,检查快照大小、磁盘吞吐和 Leader 侧压力;如果出现事务日志或快照读取异常,再考虑本地数据损坏。
处理本地数据异常要守住边界
只有在已经确认该节点是新加入或可安全重建、集群多数派健康、并且有可用备份或可从 Leader 重新同步时,才考虑隔离本地数据目录。不要在多数派状态不明时删除 dataDir 或 dataLogDir。
恢复时更稳妥的做法是先停止该节点,备份现有数据目录到带时间戳的路径,再创建空目录并保留正确的 myid 和权限,让节点重新从健康 Leader 同步。旧数据先保留,便于事后分析和回滚。
验证是否真正恢复
节点启动后,不要只看“进程存在”。应同时确认角色稳定、日志不再循环报错,并且动态配置仍包含该成员。可以先查看本机状态:
/opt/zookeeper/bin/zkServer.sh status预期输出应显示该节点最终进入合法角色,例如:
ZooKeeper JMX enabled by default
Using config: <PATH>/zoo.cfg
Mode: follower<PATH> 和角色会随部署而不同;若该节点被配置为 Observer,则应看到对应角色。节点能持续保持稳定角色、日志同步完成且集群成员表一致,才算恢复完成。
定位新成员同步问题时,顺序比“多试几个命令”更重要:先证明链路可达,再证明本地可写,最后证明数据追赶完成。这样才能把连接故障、性能瓶颈和数据异常分开处理,避免误删数据或扩大故障面。