服务注册与分布式协调 / 系统课时

排查新成员迟迟无法同步

排查新成员迟迟无法同步

新节点加入后长期不能稳定工作,通常不是一个单点原因。需要沿“先能连上 Leader,再能读写本地数据,最后完成事务追赶”的顺序检查网络、解析、磁盘、事务日志、快照和同步进度,才能区分连接失败、追赶过慢与本地数据异常。

学习目标

  • 按连接、存储、数据追赶三个层次定位新成员同步失败。
  • 通过日志和系统命令区分网络问题、磁盘问题与本地数据损坏。
  • 在不破坏多数派数据的前提下完成恢复与验证。

先判断是不是连不上 Leader

新成员要参与选举并同步数据,至少需要 quorum 通信端口和选举端口双向可达。先检查地址解析,再检查 2888、3888 等实际配置端口;如果使用了自定义端口,以 zoo.cfg 或动态配置为准。

bash
getent hosts zk1 zk2 zk3 zk4
nc -vz zk1 2888
nc -vz zk1 3888

预期输出示例:

text
10.0.0.11 zk1
10.0.0.12 zk2
10.0.0.13 zk3
10.0.0.14 zk4
Connection to zk1 2888 port [tcp/*] succeeded!
Connection to zk1 3888 port [tcp/*] succeeded!

如果主机名解析到了旧 IP,或者端口连接超时,优先修 DNS、/etc/hosts、安全组、防火墙或容器网络。此时反复删除数据目录没有意义,因为节点连同步源都到不了。

新成员同步故障的分层定位路径

再确认本地磁盘能正常写入

ZooKeeper 的事务日志和快照都依赖本地磁盘。磁盘满、inode 耗尽、目录只读或权限不正确,都会让新节点表现为“不断连接、不断重试,却始终追不上”。

bash
df -h /var/lib/zookeeper
df -i /var/lib/zookeeper
test -w /var/lib/zookeeper && echo writable || echo not-writable

预期输出应满足磁盘和 inode 都有余量,并且目录可写:

text
Filesystem      Size  Used Avail Use% Mounted on
<DEVICE>        <SIZE> <SIZE> <SIZE> <PERCENT> /
Filesystem      Inodes IUsed IFree IUse% Mounted on
<DEVICE>        <COUNT> <COUNT> <COUNT> <PERCENT> /
writable

这里的 <DEVICE>、容量和比例会随机器变化。若目录不可写,先修属主、挂载状态或磁盘空间,再重启节点验证;不要直接清空数据目录。

用日志判断追赶停在哪

网络和磁盘正常后,重点看节点日志。健康的新成员会先与 Leader 建立连接,再进行差异同步、截断或快照同步,最后进入稳定角色。不同 ZooKeeper 版本日志措辞会略有不同,因此应关注含义而不是死记单个关键字。

bash
grep -Ei "leader|follower|observer|sync|snap|trunc|diff|txn|exception|error" /var/log/zookeeper/zookeeper.log | tail -n 80

预期结果不是某一条固定日志,而是能看到同步阶段持续向前推进,最终出现稳定连接或角色状态;例如:

text
<LOG> connected to leader <HOST>
<LOG> synchronization completed
<LOG> FOLLOWING - LEADER ELECTION TOOK - <TIME>

如果日志长期重复连接 Leader,优先回到网络与会话超时;如果持续加载快照且进度很慢,检查快照大小、磁盘吞吐和 Leader 侧压力;如果出现事务日志或快照读取异常,再考虑本地数据损坏。

处理本地数据异常要守住边界

只有在已经确认该节点是新加入或可安全重建、集群多数派健康、并且有可用备份或可从 Leader 重新同步时,才考虑隔离本地数据目录。不要在多数派状态不明时删除 dataDir 或 dataLogDir。

恢复时更稳妥的做法是先停止该节点,备份现有数据目录到带时间戳的路径,再创建空目录并保留正确的 myid 和权限,让节点重新从健康 Leader 同步。旧数据先保留,便于事后分析和回滚。

验证是否真正恢复

节点启动后,不要只看“进程存在”。应同时确认角色稳定、日志不再循环报错,并且动态配置仍包含该成员。可以先查看本机状态:

bash
/opt/zookeeper/bin/zkServer.sh status

预期输出应显示该节点最终进入合法角色,例如:

text
ZooKeeper JMX enabled by default
Using config: <PATH>/zoo.cfg
Mode: follower

<PATH> 和角色会随部署而不同;若该节点被配置为 Observer,则应看到对应角色。节点能持续保持稳定角色、日志同步完成且集群成员表一致,才算恢复完成。

定位新成员同步问题时,顺序比“多试几个命令”更重要:先证明链路可达,再证明本地可写,最后证明数据追赶完成。这样才能把连接故障、性能瓶颈和数据异常分开处理,避免误删数据或扩大故障面。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

排查新成员迟迟无法同步

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通