架构与系统设计 / 系统课时

用 RocketMQ 跑通消息收发

用 RocketMQ 跑通消息收发

本篇把一条订单消息从发送、存储走到消费,并通过两种标签、两个消费组验证筛选与独立订阅。完成后,你不仅能看到收发输出,还能判断“发送成功但没有消费记录”究竟该检查哪一环。

学习目标

  • 使用独立实验环境创建 Topic 和 Consumer Group。
  • 运行完整 Java 程序,验证消息发送与 Tag 过滤。
  • 区分发送成功、消费成功和消费组独立进度。

先分清写入目标与消费身份

Producer 把消息写入 Topic;Topic 内的 Message Queue 承载消息。Tag 是消息的分类属性,不是独立队列。Consumer Group 表示一份独立消费身份,同组实例共同处理该组订阅的消息。([RocketMQ][1])

NameServer 提供路由发现,消息正文由客户端与 Broker 直接传输。发送端的 Producer Group 不指定接收方;消费者通过 Topic 和过滤条件决定接收范围。([RocketMQ][2])

RocketMQ 路由发现、消息写入与分组过滤关系

启动独立的实验环境

准备 Docker Engine 或 Docker Desktop、Compose v2,以及 Bash 终端;Windows 可使用 WSL。建议为 Docker 留出至少 4 GiB 内存。本实验固定官方快速入门示例使用的 apache/rocketmq:5.3.2,不表示它是最新版本。([RocketMQ][3])

为避免宿主机与容器之间的地址问题,编译和收发都在 Broker 容器内完成,使用镜像自带的 JDK 与 Java Remoting 客户端。这不是需要 Proxy 的 rocketmq-client-java gRPC 接入方式。

在新的空目录保存 compose.yaml。不发布宿主端口,不配置持久化卷,服务仅用于临时实验。

yaml
services:
  namesrv:
    image: apache/rocketmq:5.3.2
    environment:
      # 覆盖默认大堆,降低本地实验的内存占用。
      JAVA_OPT_EXT: "-Xms256m -Xmx256m -Xmn128m"
    command: ["sh", "mqnamesrv"]
  broker:
    image: apache/rocketmq:5.3.2
    depends_on:
      - namesrv
    environment:
      JAVA_OPT_EXT: "-Xms512m -Xmx512m -Xmn256m -XX:MaxDirectMemorySize=256m"
    # 客户端也在本容器执行,不需要 ports 映射。
    command: ["sh", "mqbroker", "-n", "namesrv:9876"]

预期结果:两个服务在同一 Compose 网络运行,Broker 使用 namesrv:9876 查找 NameServer。这里的内存参数只用于少量消息实验。镜像启动脚本支持通过 JAVA_OPT_EXT 追加 JVM 参数。

bash
docker compose up -d
# 检查实际启动日志,不把容器运行状态当成服务就绪。
docker compose logs --tail=50 namesrv broker

预期输出:成功启动后的日志包含以下关键片段,省略了日志前缀和尾部。<HOST>、<IP> 的实际值可能不同;9876、10911 是本实验固定使用的协议端口。([RocketMQ][4])

text
The Name Server boot success...
The broker[<HOST>,<IP>:10911] boot success...

若暂未出现成功记录,重复查看日志,再执行创建命令。depends_on 的简写只保证启动顺序,不保证服务已经就绪。([Docker Documentation][5])

bash
# 显式创建两个读写队列,以及两份独立消费身份。
docker compose exec broker sh mqadmin updateTopic -n namesrv:9876 -b 127.0.0.1:10911 -t LabOrders -r 2 -w 2
docker compose exec broker sh mqadmin updateSubGroup -n namesrv:9876 -b 127.0.0.1:10911 -g inventory-demo
docker compose exec broker sh mqadmin updateSubGroup -n namesrv:9876 -b 127.0.0.1:10911 -g audit-demo

预期输出:摘取成功行,实际还会输出 Topic 和消费组配置详情。这里的 127.0.0.1 指 Broker 容器自身。

text
create topic to 127.0.0.1:10911 success.
create subscription group to 127.0.0.1:10911 success.
create subscription group to 127.0.0.1:10911 success.

编写并编译收发入口

在同一目录保存以下完整源码为 RocketLab.java。send 模式发送两种标签;consume 模式接受消费组与过滤条件。demo-1 是固定测试订单号,不对应真实业务数据。

java
import java.nio.charset.StandardCharsets;
import java.util.concurrent.CountDownLatch;
import org.apache.rocketmq.client.consumer.DefaultMQPushConsumer;
import org.apache.rocketmq.client.consumer.listener.ConsumeConcurrentlyStatus;
import org.apache.rocketmq.client.consumer.listener.MessageListenerConcurrently;
import org.apache.rocketmq.client.producer.DefaultMQProducer;
import org.apache.rocketmq.client.producer.SendResult;
import org.apache.rocketmq.client.producer.SendStatus;
import org.apache.rocketmq.common.consumer.ConsumeFromWhere;
import org.apache.rocketmq.common.message.Message;
import org.apache.rocketmq.common.message.MessageExt;
import org.apache.rocketmq.remoting.protocol.heartbeat.MessageModel;

public class RocketLab {
    private static final String TOPIC = "LabOrders";
    private static final String NAMESRV = "namesrv:9876";

    public static void main(String[] args) throws Exception {
        if (args.length == 1 && "send".equals(args[0])) {
            send();
            return;
        }
        if (args.length != 3 || !"consume".equals(args[0])) {
            throw new IllegalArgumentException("send | consume <group> <tag>");
        }

        DefaultMQPushConsumer consumer = new DefaultMQPushConsumer(args[1]);
        consumer.setNamesrvAddr(NAMESRV);
        // 明确采用同组分工,不启用同组广播。
        consumer.setMessageModel(MessageModel.CLUSTERING);
        // 仅在没有已保存进度时,从仍保留的数据起点开始。
        consumer.setConsumeFromWhere(ConsumeFromWhere.CONSUME_FROM_FIRST_OFFSET);
        consumer.subscribe(TOPIC, args[2]);
        consumer.registerMessageListener((MessageListenerConcurrently) (messages, context) -> {
            for (MessageExt message : messages) {
                String body = new String(message.getBody(), StandardCharsets.UTF_8);
                System.out.printf("RECEIVE tag=%s body=%s%n", message.getTags(), body);
            }
            // 真实业务必须处理成功后才返回成功;本实验只打印消息。
            return ConsumeConcurrentlyStatus.CONSUME_SUCCESS;
        });
        consumer.start();
        Runtime.getRuntime().addShutdownHook(new Thread(consumer::shutdown));
        System.out.printf("READY group=%s filter=%s%n", args[1], args[2]);
        // 保持监听,按 Ctrl+C 时由关闭钩子释放客户端资源。
        new CountDownLatch(1).await();
    }

    private static void send() throws Exception {
        DefaultMQProducer producer = new DefaultMQProducer("producer-demo");
        producer.setNamesrvAddr(NAMESRV);
        producer.start();
        try {
            for (String tag : new String[] {"Confirmed", "Cancelled"}) {
                Message message = new Message(
                    TOPIC, tag, "orderId=demo-1".getBytes(StandardCharsets.UTF_8));
                SendResult result = producer.send(message);
                // 收到返回值仍须检查状态,不把所有返回都当作成功。
                if (result.getSendStatus() != SendStatus.SEND_OK) {
                    throw new IllegalStateException("Unexpected status: " + result.getSendStatus());
                }
                System.out.printf("SEND tag=%s status=%s%n", tag, result.getSendStatus());
            }
        } finally {
            producer.shutdown();
        }
    }
}

预期输出:编译后以 send 模式执行时,正常情况下打印如下两行。SEND_OK 是发送结果,不证明消费者已经完成业务处理;消费模式的输出在下节验证。([RocketMQ][2])

text
SEND tag=Confirmed status=SEND_OK
SEND tag=Cancelled status=SEND_OK

执行复制与编译,无须在宿主机安装 Maven 或另外下载客户端依赖。

bash
# 使用镜像中同版本的客户端 JAR,避免不同 SDK 的类混用。
docker compose cp RocketLab.java broker:/tmp/RocketLab.java
docker compose exec broker sh -c 'javac -encoding UTF-8 -cp "$ROCKETMQ_HOME/lib/*" -d /tmp /tmp/RocketLab.java && echo COMPILED'

预期输出:复制进度之后,编译命令打印以下成功标记。

text
COMPILED

验证标签与独立消费组

在终端 A 执行,保持程序运行。所有终端都应位于 compose.yaml 所在目录。

bash
# 库存消费者只接收 Confirmed 标签。
docker compose exec broker sh -c 'java -Xmx128m -cp "/tmp:$ROCKETMQ_HOME/lib/*" RocketLab consume inventory-demo Confirmed'

预期输出:首次空环境中先出现就绪行,进程随后持续监听。

text
READY group=inventory-demo filter=Confirmed

在终端 B 发送消息。

bash
# 同一个 Topic 中写入两种标签。
docker compose exec broker sh -c 'java -Xmx128m -cp "/tmp:$ROCKETMQ_HOME/lib/*" RocketLab send'

预期输出:终端 B 打印两条发送结果。

text
SEND tag=Confirmed status=SEND_OK
SEND tag=Cancelled status=SEND_OK

终端 A 随后出现下面的消费记录,不应因为本次发送而收到 Cancelled。判断过滤是否正确,要看标签和正文,不要只看日志条数。

text
RECEIVE tag=Confirmed body=orderId=demo-1

在终端 C 启动审计消费组。引号中的 * 是订阅全部标签,不让 Shell 把它展开成文件名。

bash
# 独立消费组从尚未消费的保留数据中读取两种标签。
docker compose exec broker sh -c 'java -Xmx128m -cp "/tmp:$ROCKETMQ_HOME/lib/*" RocketLab consume audit-demo "*"'

预期输出:首次实验出现以下关键行,消费行顺序可能不同,也可能与就绪行交错;这里没有配置顺序消费。

text
READY group=audit-demo filter=*
RECEIVE tag=Confirmed body=orderId=demo-1
RECEIVE tag=Cancelled body=orderId=demo-1

审计组能读到库存组处理过的消息,因为两组进度独立。程序中的起点设置仅用于没有保存进度的队列;重启已有消费组不会自动从头重放。([RocketMQ][6])

同组实例必须保持相同的 Topic 和标签订阅。再启动一个 inventory-demo 实例只是参与分工,不是新增独立订阅;不要给同组两个实例分别配置 Confirmed 与 Cancelled。消费重试仍可能带来重复处理,组内分工不等于业务恰好执行一次。([RocketMQ][7])

收不到消息先检查哪一环

出现路由或连接错误,先确认两个服务的启动日志,再检查 Topic 创建结果。所有客户端命令必须在 Broker 容器内执行;不要把本例的 namesrv:9876 原样用于宿主机程序。([RocketMQ][3])

发送成功但没有消费记录,检查标签大小写、同组订阅是否一致,以及该组是否已经处理过消息。实验重跑时可再次发送;不要为了看到旧消息直接修改正式业务组的进度。([RocketMQ][7])

先在消费者终端按 Ctrl+C,再清理本实验。由于没有持久化卷,删除容器会同时丢失其中的消息、消费进度和编译产物;这不是生产部署方案。([Docker Documentation][8])

bash
# 仅在本实验目录执行,移除当前 Compose 项目的临时服务。
docker compose down && echo LAB_REMOVED

预期输出:容器与网络清理信息后,最后出现以下标记。

text
LAB_REMOVED

验收时分别确认发送结果、过滤结果和消费组独立性,不要用某一处“成功”代替整条消息链路的验证。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

用 RocketMQ 跑通消息收发

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通