服务注册与分布式协调 / 系统课时

排查集群节点状态不一致

排查集群节点状态不一致

Nacos 集群里出现某个节点看不到成员、控制台数据不同或请求只在部分节点异常时,要先判断它属于 成员视图不一致、共享数据库不一致、节点间通信异常,还是单节点运行故障。按节点列表、数据库、网络和日志逐层收敛,通常比反复重启更快找到根因。

学习目标

  • 能对比各节点的成员视图并判断异常是否只发生在单节点
  • 能验证多个节点是否指向同一持久化数据库并具备一致的网络连通性
  • 能结合启动和运行日志区分配置数据问题、通信问题与节点自身故障

先确认不一致发生在哪一层

集群“状态不一致”并不是一种故障。配置与账户等持久化数据依赖数据库,服务实例和集群成员还依赖节点间通信与本地运行状态;因此应先确定差异属于哪一类,再决定看数据库还是看网络。

Nacos 集群不一致排查路径

先从最便宜的证据开始:同一时刻在不同节点查看成员配置和存活情况。如果只有一个节点看到的成员不同,优先查该节点自身;如果所有节点都能互相看到但业务数据不同,再转向数据库与数据类型。

对比节点列表与基础配置

在每个节点检查 cluster.conf。文件内容和顺序不一定必须完全相同,但预期成员集合应一致,且地址必须是其他节点真正能够访问的地址,不能混入 127.0.0.1、错误主机名或旧 IP。

bash
cat <NACOS_HOME>/conf/cluster.conf

预期输出:

text
<NODE_1_IP>:<PORT>
<NODE_2_IP>:<PORT>
<NODE_3_IP>:<PORT>

如果某个节点缺少成员或仍保留旧地址,先修正该节点配置并按当前部署方式重启或滚动恢复。修改前应确认所有节点使用的是同一套集群拓扑,避免边改边产生新的成员分裂。

验证是否连接同一数据库

配置内容“只有某些节点能看到”时,重点检查各节点的数据库连接。先比对 application.properties 中的数据库 URL,再从节点所在主机实际连接数据库做一次只读查询。

bash
grep -E "^db\.url\.0=" <NACOS_HOME>/conf/application.properties
mysql -h <DB_HOST> -P <DB_PORT> -u <DB_USER> -p <DB_NAME>   -e "SELECT COUNT(*) AS config_count FROM config_info;"

预期输出:

text
db.url.0=<同一数据库连接地址>
+--------------+
| config_count |
+--------------+
| <COUNT>      |
+--------------+

<COUNT> 会随环境变化。关键不是固定数值,而是各节点应指向同一个数据库,并且从各节点执行查询都能成功。若 URL 指向不同库、账号权限不同或某节点无法连接数据库,就可能出现配置与控制台数据不一致。

检查节点间网络与通信端口

从每个节点到其他节点逐一验证端口可达。下面示例检查 HTTP 端口和两个集群通信端口;具体端口应以当前 Nacos 版本和部署配置为准。

bash
nc -vz <PEER_IP> <HTTP_PORT>
nc -vz <PEER_IP> <GRPC_CLIENT_PORT>
nc -vz <PEER_IP> <GRPC_SERVER_PORT>

预期输出:

text
Connection to <PEER_IP> <HTTP_PORT> port [tcp/*] succeeded!
Connection to <PEER_IP> <GRPC_CLIENT_PORT> port [tcp/*] succeeded!
Connection to <PEER_IP> <GRPC_SERVER_PORT> port [tcp/*] succeeded!

若某个方向失败,不要只测反方向。安全组、防火墙、容器端口映射、NAT 和 DNS 都可能造成“节点 A 能访问 B,但 B 访问不了 A”的非对称故障。先恢复双向连通,再观察成员状态是否自动收敛。

用日志确定最终根因

网络和数据库都正常后,再查看异常节点日志,重点找数据库连接失败、集群成员变更、选举、超时、连接拒绝和重复重连。不要只截最后十行,因为成员异常往往从更早的启动阶段开始。

bash
grep -Ei "error|fail|timeout|refused|member|cluster|raft|distro|database" <NACOS_HOME>/logs/*.log | tail -n 120

预期输出:

text
<TIME> ... <与当前异常节点对应的成员、网络、数据库或一致性日志>

修复后应再次对比所有节点的成员集合,从每个节点验证数据库查询和节点间端口,并通过负载均衡连续访问业务接口,确认请求落到不同节点时结果一致。只有成员视图、持久化数据来源和节点间通信同时恢复一致,集群才算真正稳定。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

排查集群节点状态不一致

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通