消息队列 / 系统课时
Quorum Queue 怎样复制消息
Quorum Queue 怎样复制消息
Quorum Queue 的重点不是“把一条消息拷贝到多台机器”这么简单,而是让多个队列成员对同一份队列状态达成多数派一致。理解 leader、follower、提交与多数派后,才能判断节点故障时哪些消息仍然安全、队列何时还能继续工作。
学习目标
- 说明 Quorum Queue 的 leader 与 follower 如何复制队列状态
- 用 3 成员队列解释多数派提交与故障恢复
- 区分已确认消息、未确认消息在故障时的安全边界
复制的核心是多数派一致
一个 Quorum Queue 由若干成员组成,其中一个成员是 leader,其余是 followers。涉及队列状态变化的操作会交给 leader,由 leader 将操作复制给其他成员。它们不是把消息切成分片分别保存,而是共同维护这条队列的一致状态;RabbitMQ 的 Quorum Queue 使用 Raft 一致性机制来完成这件事。([RabbitMQ][1])

一条消息怎样变成已提交状态
以 A、B、C 三个成员为例,A 当前是 leader。多数派数量为 2,因此并不要求三个成员同时成功后才能继续。
- Publisher 发布的消息被路由到这条 Quorum Queue,并由 leader 处理。
- Leader 记录队列状态变化,并把对应日志复制给 followers。
- 当 leader 与至少一个 follower 都完成所需持久化后,已经形成 2/3 多数派。
- 该日志项可以被提交,后续队列状态以已提交结果为准。
- 如果生产者启用了 Publisher Confirm,RabbitMQ 会在消息成功复制到多数派、被视为安全后再发送确认。([RabbitMQ][1])
因此,“副本数量为 3”不等于“每次必须等待 3 份全部完成”。Quorum 的关键是多数派:3 个成员需要 2 个,5 个成员需要 3 个。这样既能容忍少数成员暂时故障,又避免两个互相隔离的分区同时认为自己拥有有效写权限。
Leader 故障时为什么还能恢复
如果三成员队列中 A 故障,而 B、C 仍能互相通信,它们仍构成 2/3 多数派,可以选出新的 leader 并继续处理队列操作。Leader 切换期间客户端操作可能短暂停顿,但不需要生产者知道新 leader 在哪一台节点上。([RabbitMQ][2])
如果同时只剩一个成员可用,就失去了多数派。此时 Quorum Queue 会优先保护一致性,而不是继续接受可能造成分叉的写入。已经收到 Publisher Confirm 的消息具有明确的安全边界;没有收到确认的消息则不能假设一定安全,也不能假设一定没有写入。
查看当前成员角色
如果环境中已经存在名为 orders.q 的 Quorum Queue,可以在 RabbitMQ 节点上查看它的成员与角色:
rabbitmq-queues quorum_status orders.q预期结果
<QUEUE_MEMBER_STATUS>命令应成功返回该队列的 quorum 状态,其中会显示 leader 与 follower 成员;具体节点名、表格字段和排版可能随 RabbitMQ 版本与环境不同。<QUEUE_MEMBER_STATUS> 表示实际状态输出。该命令可用于确认故障演练后谁成为新 leader,以及当前成员是否都在线。([RabbitMQ][2])
复制带来的代价
Quorum Queue 用额外网络复制和磁盘持久化换取数据安全,因此写入延迟会受到副本间网络 RTT、磁盘速度和成员数量影响。副本越多,并不代表收益无限增加;关键队列通常使用较小的奇数成员组,并把“能否保持多数派”作为节点维护和故障演练的检查条件。
真正需要记住的边界是:复制成员负责让队列状态在故障中保持一致,多数派决定哪些状态可以提交,而 Publisher Confirm 才把这个安全结果反馈给生产者。