消息队列 / 系统课时
生产上线检查
生产上线检查
上线前检查的目标不是确认“RabbitMQ 能启动”,而是证明权限、数据安全、确认语义、集群副本、监控和恢复方案都达到业务要求。本课给出一套可执行的放行清单,并用命令验证最容易遗漏的运行条件。
学习目标
- 验证节点健康、访问权限、队列持久化与副本策略
- 检查 publisher confirm、消费确认、监控告警和备份是否形成闭环
- 用故障演练定义明确的上线放行与阻断条件
先把上线门槛写成验收条件
上线评审应把“已配置”改成“可验证”。权限要证明业务账号只能访问目标 vhost 和资源;关键消息要证明队列类型、持久化、publisher confirm 和消费 ACK 符合可靠性设计;集群要证明故障后仍保有多数副本;监控要能在资源耗尽或消费停滞前告警;备份要实际做过恢复。
| 检查面 | 放行条件 |
|---|---|
| 权限 | 独立业务账号、最小化 configure/write/read 权限,无共享管理员凭据 |
| 消息可靠性 | 关键发布启用 confirm,消费在业务持久化成功后 ACK,不可路由消息有明确处理 |
| 队列与副本 | 关键数据使用满足容错要求的复制型队列,成员分布符合故障域设计 |
| 监控 | 节点、资源告警、Ready、Unacked、消费者数、连接与确认异常都有指标和阈值 |
| 恢复 | definitions 已备份,业务数据恢复、消息重放或补偿方案经过演练 |
执行节点与权限检查
先在每个目标节点执行健康检查,再核对集群成员和 vhost 权限。下面的示例使用默认 vhost /;生产环境应替换为实际 vhost,并确认权限正则只覆盖应用真正需要的资源。
rabbitmq-diagnostics -q check_running && echo "check_running=OK"
rabbitmq-diagnostics -q check_local_alarms && echo "check_local_alarms=OK"
rabbitmq-diagnostics -q check_port_connectivity && echo "port_connectivity=OK"
rabbitmqctl cluster_status
rabbitmqctl list_permissions -p /预期输出
check_running=OK
check_local_alarms=OK
port_connectivity=OK
Cluster status of node rabbit@<HOST> ...
Listing permissions for vhost "/" ...
<USER> <CONFIGURE_REGEX> <WRITE_REGEX> <READ_REGEX>节点名、成员列表和权限正则以实际环境为准。任何节点未运行、出现内存或磁盘资源告警、目标端口不可接受连接,或业务账号拥有明显超出需要的权限,都应在上线前处理,而不是把风险留给监控系统。
校验持久化、确认与副本
关键队列不要只看 durable=true。持久化解决的是重启后的数据保存边界,副本解决的是节点故障边界;对要求高数据安全的队列,应优先核对是否采用 quorum queue 或符合业务要求的其他复制方案。Classic Queue 本身不复制消息数据,不能把“三节点集群”等同于“每条队列都有三份副本”。
应用侧同时做一条端到端验收:生产者发送固定 event_id 并等待 confirm;若使用 mandatory,验证不可路由时能够进入 return 处理;消费者完成数据库事务后才 ACK;随后模拟消费者在 ACK 前退出,确认消息会重新投递且幂等逻辑不会重复修改业务状态。只有 Broker 配置和应用确认语义一起通过,才能认为可靠投递链路闭合。
把监控告警对准故障前兆
至少监控节点存活、内存和磁盘 alarm、文件句柄、连接与 channel 数、队列 messages_ready、messages_unacknowledged、消费者数量、发布与投递速率,以及关键 quorum queue 的可用性。阈值不要照抄固定数字,应根据压测基线和业务 SLO 设置,并给持续时间,避免瞬时波动触发无意义告警。
告警必须绑定动作。例如 Ready 持续上涨要检查消费能力和下游依赖;Unacked 持续上涨要检查慢消费者、prefetch 与 ACK;资源 alarm 要有扩容或降载方案;关键队列不可用要能快速确认剩余副本和客户端重连状态。只有“指标、阈值、负责人、处理步骤”同时存在,监控才算上线条件。
备份并验证恢复路径
RabbitMQ definitions 可以备份用户、vhost、Exchange、Queue 定义、Binding、Policy 等拓扑元数据,但它不是队列消息正文的完整备份。因此上线前既要导出 definitions,也要为业务消息准备重放来源、Outbox、上游事件存档或其他灾难恢复方案。
rabbitmqctl export_definitions /tmp/rabbitmq-definitions.json >/dev/null
test -s /tmp/rabbitmq-definitions.json && echo "definitions_backup=OK"预期输出
definitions_backup=OK备份文件包含用户密码哈希等敏感信息时,应按密钥材料的等级控制访问权限,并在隔离测试环境实际执行一次导入验证,而不是只确认文件存在。
做一次故障演练再放行
正式上线前至少完成一次受控演练:按变更流程让一个 RabbitMQ 节点退出,确认关键复制队列在仍有多数成员时可以继续服务;确认客户端能够切换到可用节点;再制造一次“业务提交成功但 ACK 未完成”的消费中断,验证重投与幂等;最后在空白测试环境恢复 definitions,并核对 vhost、Exchange、Queue、Binding 和 Policy。
上线决策应有明确阻断线:确认机制未验证、关键队列没有满足容错要求的副本、资源告警未接入、备份从未恢复成功或应急负责人不明确,任意一项都不应带病放行。