消息队列 / 系统课时

Shovel 消息搬运

Shovel 消息搬运

Shovel 用一个长期运行的转发工作进程从源端消费消息,再发布到目标端,适合跨集群迁移、跨环境传递和分阶段切流。本篇将配置一个动态 Shovel,并用确认与状态检查验证消息确实被持续搬运。

学习目标

  • 理解 Shovel 的单向消费、重新发布与确认链路
  • 配置一个可持续运行的动态 Shovel
  • 根据迁移目标选择确认模式与停止条件

Shovel 解决的是什么

Shovel 不是队列副本同步,而是一个独立的消息转发消费者。它连接源端和目标端,从源队列取得消息,再把消息发布到目标队列或交换机;源端与目标端可以位于不同集群,也可以只是同一集群中的不同 vhost。

动态 Shovel 通过运行时参数管理,不需要为创建或删除 Shovel 重启节点,更适合迁移和自动化运维。源、目标连接都使用各自的 AMQP URI,因此两端账户必须分别具备对应资源权限。

Shovel 从源队列到目标队列的消息搬运与确认链路

ack-mode=on-confirm 时,Shovel 只有在目标 Broker 确认发布后才确认源消息,因此更适合迁移和跨网络链路。on-publish 更早确认源消息,no-ack 则不等待可靠确认,吞吐可能更高,但故障窗口中的消息安全性更弱。

配置动态 Shovel

先在运行 Shovel 的 RabbitMQ 节点启用插件。若还需要在管理界面查看 Shovel,可额外启用 rabbitmq_shovel_management;本例只依赖核心插件。

bash
rabbitmq-plugins enable rabbitmq_shovel

预期输出

text
rabbitmq_shovel 已处于 enabled 状态;节点名称和插件列表中的其他内容可能因环境不同而变化。

假设源队列为 orders.migrate,目标队列为 orders.import。下面使用 AMQP 0-9-1,目标队列声明为 quorum queue;执行前把 <SRC_PASSWORD>、<DEST_PASSWORD> 和主机名替换为真实值。

bash
rabbitmqctl set_parameter -p / shovel migrate-orders '{
  "src-protocol": "amqp091",
  "src-uri": "amqp://shovel_src:<SRC_PASSWORD>@source-rmq:5672/%2f",
  "src-queue": "orders.migrate",
  "dest-protocol": "amqp091",
  "dest-uri": "amqp://shovel_dst:<DEST_PASSWORD>@target-rmq:5672/%2f",
  "dest-queue": "orders.import",
  "dest-queue-args": {"x-queue-type": "quorum"},
  "ack-mode": "on-confirm",
  "reconnect-delay": 5,
  "src-delete-after": "never"
}'

预期结果

text
运行时参数 migrate-orders 已写入 vhost /;Shovel 随后尝试连接 source-rmq 与 target-rmq。

这里的 src-delete-after=never 表示持续运行。若是一次性搬运“启动时已经积压的消息”,可以改为 queue-length;它会以启动时的源队列长度作为搬运目标,不适合同时持续接收新消息的长期链路。

验证运行状态

动态 Shovel 创建后,先确认状态已经进入 running。rabbitmqctl shovel_status 由 Shovel 插件提供,适合在没有管理界面的节点上直接检查。

bash
rabbitmqctl shovel_status --formatter=pretty_table

预期输出

text
migrate-orders    dynamic    running    <TIME>

实际列名和时间格式可能随补丁版本或 formatter 略有差异,但名称应为 migrate-orders,类型应为动态 Shovel,状态应为 running。如果长期停在 starting 或进入 terminated,优先检查两端 URI、DNS、端口、TLS 和用户权限,再查看运行 Shovel 的节点日志。

验证数据时,应在源队列发布一条带唯一业务 ID 的测试消息,并确认目标队列出现同一条消息。对于迁移场景,还要同时观察源队列积压是否下降、目标消费是否正常,以及目标业务是否具备幂等能力。

迁移与持续转发的边界

Shovel 的可靠性核心在“何时确认源消息”。on-confirm 能覆盖常见网络中断和目标 Broker 故障窗口,但跨系统转发仍应按至少一次思路设计:目标消费者要能处理重复消息,业务主键或事件 ID 不应因重复投递产生二次副作用。

跨区域长期复制若需要按需拉取、拓扑级联或更复杂的多站点策略,应同时评估 Federation;Shovel 更适合明确、单向、可独立控制生命周期的搬运任务。迁移完成后不要只看源队列归零,还要确认目标端消费、失败队列和业务数据都通过验收,再删除动态 Shovel。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

Shovel 消息搬运

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通