服务注册与分布式协调 / 系统课时

集群无法形成多数派

集群无法形成多数派

本课处理 ZooKeeper 节点全部启动却长期处于 looking、没有 Leader 或无法对外写入的问题。你将按多数派计算、成员身份、配置一致性、选举端口、网络、磁盘和时间环境逐层定位,并验证集群重新形成稳定角色。

学习目标

  • 计算投票成员形成多数派所需的节点数
  • 检查 myid、成员配置和选举通信
  • 根据日志与端口测试定位无法选主的根因

先确认多数派是否可能成立

包含 NN 个投票成员的集群,需要至少 ⌊N/2⌋+1\lfloor N/2 \rfloor + 1 个成员互相通信才能形成多数派。三节点需要 2 个,五节点需要 3 个;Observer 不参与投票,不能补足缺失的多数派。

若可用投票节点数量本身不足,应先恢复节点或网络,而不是反复重启。偶数集群通常不会比相邻较小奇数集群多容忍一个故障,却会增加复制和运维成本。

ZooKeeper 多数派形成与排查决策图

检查身份与成员配置

每个节点 dataDir 下的 myid 必须是唯一整数,并与配置中的 server.<id> 对应。所有节点看到的投票成员列表应一致;动态配置启用时,还要确认实际生效的是动态配置文件,而不是只检查静态文件。

bash
CONFIG=/etc/zookeeper/zoo.cfg
DATA_DIR=/var/lib/zookeeper/data

printf 'myid='
cat "$DATA_DIR/myid"
grep -E '^server\.[0-9]+=' "$CONFIG" | sort

预期结果是当前 myid 能在成员列表中找到对应项,并且不同节点的成员列表一致。主机名和端口应替换为实际值。

text
myid=2
server.1=zk-1.example.internal:2888:3888
server.2=zk-2.example.internal:2888:3888
server.3=zk-3.example.internal:2888:3888

常见错误包括重复 myid、复制数据目录后忘记修改身份、某节点缺少新成员配置、主机名解析到错误地址,以及把 quorum 通信端口和选举端口顺序写反。

验证节点间双向通信

选举阶段最关键的是投票节点之间的 election 端口双向可达;Leader 产生后,Follower 还要通过 quorum 端口与 Leader 同步。仅从运维机测试客户端端口 2181,不能证明集群内部网络正常。

bash
PEERS="zk-1.example.internal zk-2.example.internal zk-3.example.internal"
for host in $PEERS; do
  nc -vz -w 2 "$host" 3888
done

ss -lntp | grep -E ':(2888|3888)\b'

预期结果是当前节点到所有投票节点的 3888 端口可达,并能看到本机选举端口监听。2888 的监听与连接应结合当前角色和日志判断,形成 Leader 后再从各 Follower 验证到 Leader 的 2888 端口。

text
Connection to zk-1.example.internal 3888 port [tcp/*] succeeded!
Connection to zk-2.example.internal 3888 port [tcp/*] succeeded!
Connection to zk-3.example.internal 3888 port [tcp/*] succeeded!
LISTEN ... :3888 ...

必须从每个投票节点重复执行,并检查主机防火墙、云安全组、网络 ACL、容器网络策略和 DNS。单向可达同样可能导致反复选举。

检查磁盘、进程和时间环境

事务日志目录不可写、磁盘满、文件损坏或 JVM 频繁退出,会让节点无法稳定参与选举。检查 df -h、目录权限、启动日志和 OOM、fsync、CRC 异常。

严重时钟跳变通常不是多数派算法的直接前提,但会干扰会话、TLS 证书、日志时间线和故障判断。应确认 NTP 同步正常,尤其在启用证书或跨机房部署时。

根据日志确定阶段

持续出现 LOOKING 且伴随 Cannot open channel、连接拒绝或超时,优先检查选举网络。出现 myid、server.x、地址绑定错误,修正身份与配置。出现磁盘 I/O、快照或事务日志加载异常,先确认其他节点健康,再按恢复流程处理故障节点。

修复后应看到唯一 Leader,其余投票节点为 Follower,Observer 为 Observer。至少持续观察一个会话超时周期,确认角色不再反复切换。

本课总结

  • 多数派只计算投票成员,Observer 不能补足票数
  • myid、成员列表和两个集群通信端口必须在所有节点上一致且双向可达
  • 磁盘、进程和配置问题应结合选举日志定位,不能只反复重启

下一课预告

下一课将继续分析 Leader 频繁切换,重点定位网络抖动、磁盘延迟、GC 停顿和节点负载不均。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

集群无法形成多数派

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通