消息队列 / 系统课时

节点故障与恢复

节点故障与恢复

本课处理三类常见故障:节点进程或主机离线、节点间网络分区,以及节点数据不可恢复后的重建。目标不是“把节点启动起来”这么简单,而是先确认多数派与副本状态,再选择重连、移除或重建路径,最后验证集群和消息副本都恢复健康。

学习目标

  • 根据集群状态区分节点离线、网络分区与永久节点丢失
  • 理解 RabbitMQ 4.3 中 Raft 多数派对 Khepri、Quorum Queue 和 Stream 可用性的影响
  • 按安全顺序完成节点恢复、重建与副本补齐

先判断故障落在哪一层

RabbitMQ 4.3 的集群元数据由 Khepri 管理,Quorum Queue 与 Stream 的复制同样依赖 Raft。单个节点失联时,真正决定业务是否还能继续的不是“集群里少了一台机器”,而是相关 Raft 组是否仍有在线多数派。

RabbitMQ 节点离线、网络分区与重建的恢复路径

先在仍可访问的节点执行状态检查,不要一看到节点离线就立即 reset。下面的命令用于确认当前节点能看到哪些集群成员,并检查一个关键 Quorum Queue 的副本状态。

bash
rabbitmq-diagnostics cluster_status
rabbitmq-queues quorum_status --vhost "/" "orders.q"

预期输出

text
cluster_status 的 Running Nodes 中只列出当前可达节点;
quorum_status 能显示 orders.q 的 leader、members 及各成员状态。
实际节点名、leader 位置和输出格式可能不同。

如果故障节点只是暂时不可达,而其磁盘数据和节点身份仍完整,优先修复主机、DNS、防火墙或端口连通性,不要把它当成新节点处理。

看懂网络分区和多数派

网络分区发生后,各节点进程可能都还活着,但某些节点互相无法通信。RabbitMQ 4.3 不再依赖旧版 cluster_partition_handling 策略;这些旧配置键即使仍被读取也不再产生分区处理效果。

对 Khepri、Quorum Queue 和 Stream 而言,多数派侧可以在 leader 丢失后重新选举。选举窗口内写入可能短暂停顿或失败;如果某个 Raft 组完全失去多数派,那么发布、确认或元数据更新等需要共识的操作无法继续推进,直到多数派恢复。

恢复短暂离线节点

如果节点只是重启、宿主机故障或短暂断网,且节点名、Erlang Cookie 与原数据目录都未变化,恢复基础设施后直接启动原节点即可。它会重新联系已知集群成员,并从当前 leader 获取缺失日志。

bash
sudo systemctl start rabbitmq-server
rabbitmq-diagnostics -q ping
rabbitmq-diagnostics cluster_status

预期输出

text
ping 检查成功;
cluster_status 的 Running Nodes 再次包含恢复后的节点。
节点重新加入后,副本追赶可能仍需一段时间。

节点刚重新出现不等于数据副本已经追平。对关键 Quorum Queue 或 Stream 继续检查其成员状态;长时间断线后需要同步的数据可能很大,在追赶完成前不要立即安排新的维护操作。

重建永久丢失的节点

只有在原节点确认无法恢复,例如磁盘数据已丢失或主机永久下线时,才进入“移除旧身份并加入空白节点”的流程。先确保剩余节点仍具备足够多数派,再从健康节点移除失效成员。

下面示例假设 rabbit@node3 已永久离线,新机器将重新使用该节点名,并已配置正确的节点名解析、Cookie 和网络连通性。

bash
# 在健康集群成员上移除永久离线的旧节点
rabbitmqctl forget_cluster_node rabbit@node3

# 在重建后的空白 node3 上加入现有集群
rabbitmqctl join_cluster rabbit@node1

# 在集群健康后,把新节点加入匹配的 Quorum Queue 副本组
rabbitmq-queues grow "rabbit@node3" all --vhost-pattern ".*" --queue-pattern ".*"

# 如果还要让一个现有 Stream 在新节点上增加副本
rabbitmq-streams add_replica --vhost "/" "events.stream" "rabbit@node3"

预期结果

text
rabbit@node3 以新节点身份重新成为集群成员;
匹配的 Quorum Queue 开始在 rabbit@node3 创建并同步副本;
events.stream 开始向 rabbit@node3 同步 Stream 副本;
同步完成时间取决于队列或流的数据量、磁盘与网络吞吐。

join_cluster 会把空白节点加入现有集群,但重新加入的节点不会凭空恢复原来已经丢失的非复制队列数据。对 Quorum Queue 和 Stream,新节点加入集群后也不会自动成为既有数据结构的副本成员,因此需要显式补齐所需副本。

最终验收应同时满足三件事:所有预期节点都出现在 cluster_status 中,关键 Raft 组件拥有在线多数派,并且恢复或新增的副本已经完成同步。只有这三项都成立,节点恢复才算结束。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

节点故障与恢复

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通