架构与系统设计 / 系统课时
用 RocketMQ 跑通消息收发
用 RocketMQ 跑通消息收发
本篇把一条订单消息从发送、存储走到消费,并通过两种标签、两个消费组验证筛选与独立订阅。完成后,你不仅能看到收发输出,还能判断“发送成功但没有消费记录”究竟该检查哪一环。
学习目标
- 使用独立实验环境创建 Topic 和 Consumer Group。
- 运行完整 Java 程序,验证消息发送与 Tag 过滤。
- 区分发送成功、消费成功和消费组独立进度。
先分清写入目标与消费身份
Producer 把消息写入 Topic;Topic 内的 Message Queue 承载消息。Tag 是消息的分类属性,不是独立队列。Consumer Group 表示一份独立消费身份,同组实例共同处理该组订阅的消息。([RocketMQ][1])
NameServer 提供路由发现,消息正文由客户端与 Broker 直接传输。发送端的 Producer Group 不指定接收方;消费者通过 Topic 和过滤条件决定接收范围。([RocketMQ][2])

启动独立的实验环境
准备 Docker Engine 或 Docker Desktop、Compose v2,以及 Bash 终端;Windows 可使用 WSL。建议为 Docker 留出至少 4 GiB 内存。本实验固定官方快速入门示例使用的 apache/rocketmq:5.3.2,不表示它是最新版本。([RocketMQ][3])
为避免宿主机与容器之间的地址问题,编译和收发都在 Broker 容器内完成,使用镜像自带的 JDK 与 Java Remoting 客户端。这不是需要 Proxy 的 rocketmq-client-java gRPC 接入方式。
在新的空目录保存 compose.yaml。不发布宿主端口,不配置持久化卷,服务仅用于临时实验。
services:
namesrv:
image: apache/rocketmq:5.3.2
environment:
# 覆盖默认大堆,降低本地实验的内存占用。
JAVA_OPT_EXT: "-Xms256m -Xmx256m -Xmn128m"
command: ["sh", "mqnamesrv"]
broker:
image: apache/rocketmq:5.3.2
depends_on:
- namesrv
environment:
JAVA_OPT_EXT: "-Xms512m -Xmx512m -Xmn256m -XX:MaxDirectMemorySize=256m"
# 客户端也在本容器执行,不需要 ports 映射。
command: ["sh", "mqbroker", "-n", "namesrv:9876"]预期结果:两个服务在同一 Compose 网络运行,Broker 使用 namesrv:9876 查找 NameServer。这里的内存参数只用于少量消息实验。镜像启动脚本支持通过 JAVA_OPT_EXT 追加 JVM 参数。
docker compose up -d
# 检查实际启动日志,不把容器运行状态当成服务就绪。
docker compose logs --tail=50 namesrv broker预期输出:成功启动后的日志包含以下关键片段,省略了日志前缀和尾部。<HOST>、<IP> 的实际值可能不同;9876、10911 是本实验固定使用的协议端口。([RocketMQ][4])
The Name Server boot success...
The broker[<HOST>,<IP>:10911] boot success...若暂未出现成功记录,重复查看日志,再执行创建命令。depends_on 的简写只保证启动顺序,不保证服务已经就绪。([Docker Documentation][5])
# 显式创建两个读写队列,以及两份独立消费身份。
docker compose exec broker sh mqadmin updateTopic -n namesrv:9876 -b 127.0.0.1:10911 -t LabOrders -r 2 -w 2
docker compose exec broker sh mqadmin updateSubGroup -n namesrv:9876 -b 127.0.0.1:10911 -g inventory-demo
docker compose exec broker sh mqadmin updateSubGroup -n namesrv:9876 -b 127.0.0.1:10911 -g audit-demo预期输出:摘取成功行,实际还会输出 Topic 和消费组配置详情。这里的 127.0.0.1 指 Broker 容器自身。
create topic to 127.0.0.1:10911 success.
create subscription group to 127.0.0.1:10911 success.
create subscription group to 127.0.0.1:10911 success.编写并编译收发入口
在同一目录保存以下完整源码为 RocketLab.java。send 模式发送两种标签;consume 模式接受消费组与过滤条件。demo-1 是固定测试订单号,不对应真实业务数据。
import java.nio.charset.StandardCharsets;
import java.util.concurrent.CountDownLatch;
import org.apache.rocketmq.client.consumer.DefaultMQPushConsumer;
import org.apache.rocketmq.client.consumer.listener.ConsumeConcurrentlyStatus;
import org.apache.rocketmq.client.consumer.listener.MessageListenerConcurrently;
import org.apache.rocketmq.client.producer.DefaultMQProducer;
import org.apache.rocketmq.client.producer.SendResult;
import org.apache.rocketmq.client.producer.SendStatus;
import org.apache.rocketmq.common.consumer.ConsumeFromWhere;
import org.apache.rocketmq.common.message.Message;
import org.apache.rocketmq.common.message.MessageExt;
import org.apache.rocketmq.remoting.protocol.heartbeat.MessageModel;
public class RocketLab {
private static final String TOPIC = "LabOrders";
private static final String NAMESRV = "namesrv:9876";
public static void main(String[] args) throws Exception {
if (args.length == 1 && "send".equals(args[0])) {
send();
return;
}
if (args.length != 3 || !"consume".equals(args[0])) {
throw new IllegalArgumentException("send | consume <group> <tag>");
}
DefaultMQPushConsumer consumer = new DefaultMQPushConsumer(args[1]);
consumer.setNamesrvAddr(NAMESRV);
// 明确采用同组分工,不启用同组广播。
consumer.setMessageModel(MessageModel.CLUSTERING);
// 仅在没有已保存进度时,从仍保留的数据起点开始。
consumer.setConsumeFromWhere(ConsumeFromWhere.CONSUME_FROM_FIRST_OFFSET);
consumer.subscribe(TOPIC, args[2]);
consumer.registerMessageListener((MessageListenerConcurrently) (messages, context) -> {
for (MessageExt message : messages) {
String body = new String(message.getBody(), StandardCharsets.UTF_8);
System.out.printf("RECEIVE tag=%s body=%s%n", message.getTags(), body);
}
// 真实业务必须处理成功后才返回成功;本实验只打印消息。
return ConsumeConcurrentlyStatus.CONSUME_SUCCESS;
});
consumer.start();
Runtime.getRuntime().addShutdownHook(new Thread(consumer::shutdown));
System.out.printf("READY group=%s filter=%s%n", args[1], args[2]);
// 保持监听,按 Ctrl+C 时由关闭钩子释放客户端资源。
new CountDownLatch(1).await();
}
private static void send() throws Exception {
DefaultMQProducer producer = new DefaultMQProducer("producer-demo");
producer.setNamesrvAddr(NAMESRV);
producer.start();
try {
for (String tag : new String[] {"Confirmed", "Cancelled"}) {
Message message = new Message(
TOPIC, tag, "orderId=demo-1".getBytes(StandardCharsets.UTF_8));
SendResult result = producer.send(message);
// 收到返回值仍须检查状态,不把所有返回都当作成功。
if (result.getSendStatus() != SendStatus.SEND_OK) {
throw new IllegalStateException("Unexpected status: " + result.getSendStatus());
}
System.out.printf("SEND tag=%s status=%s%n", tag, result.getSendStatus());
}
} finally {
producer.shutdown();
}
}
}预期输出:编译后以 send 模式执行时,正常情况下打印如下两行。SEND_OK 是发送结果,不证明消费者已经完成业务处理;消费模式的输出在下节验证。([RocketMQ][2])
SEND tag=Confirmed status=SEND_OK
SEND tag=Cancelled status=SEND_OK执行复制与编译,无须在宿主机安装 Maven 或另外下载客户端依赖。
# 使用镜像中同版本的客户端 JAR,避免不同 SDK 的类混用。
docker compose cp RocketLab.java broker:/tmp/RocketLab.java
docker compose exec broker sh -c 'javac -encoding UTF-8 -cp "$ROCKETMQ_HOME/lib/*" -d /tmp /tmp/RocketLab.java && echo COMPILED'预期输出:复制进度之后,编译命令打印以下成功标记。
COMPILED验证标签与独立消费组
在终端 A 执行,保持程序运行。所有终端都应位于 compose.yaml 所在目录。
# 库存消费者只接收 Confirmed 标签。
docker compose exec broker sh -c 'java -Xmx128m -cp "/tmp:$ROCKETMQ_HOME/lib/*" RocketLab consume inventory-demo Confirmed'预期输出:首次空环境中先出现就绪行,进程随后持续监听。
READY group=inventory-demo filter=Confirmed在终端 B 发送消息。
# 同一个 Topic 中写入两种标签。
docker compose exec broker sh -c 'java -Xmx128m -cp "/tmp:$ROCKETMQ_HOME/lib/*" RocketLab send'预期输出:终端 B 打印两条发送结果。
SEND tag=Confirmed status=SEND_OK
SEND tag=Cancelled status=SEND_OK终端 A 随后出现下面的消费记录,不应因为本次发送而收到 Cancelled。判断过滤是否正确,要看标签和正文,不要只看日志条数。
RECEIVE tag=Confirmed body=orderId=demo-1在终端 C 启动审计消费组。引号中的 * 是订阅全部标签,不让 Shell 把它展开成文件名。
# 独立消费组从尚未消费的保留数据中读取两种标签。
docker compose exec broker sh -c 'java -Xmx128m -cp "/tmp:$ROCKETMQ_HOME/lib/*" RocketLab consume audit-demo "*"'预期输出:首次实验出现以下关键行,消费行顺序可能不同,也可能与就绪行交错;这里没有配置顺序消费。
READY group=audit-demo filter=*
RECEIVE tag=Confirmed body=orderId=demo-1
RECEIVE tag=Cancelled body=orderId=demo-1审计组能读到库存组处理过的消息,因为两组进度独立。程序中的起点设置仅用于没有保存进度的队列;重启已有消费组不会自动从头重放。([RocketMQ][6])
同组实例必须保持相同的 Topic 和标签订阅。再启动一个 inventory-demo 实例只是参与分工,不是新增独立订阅;不要给同组两个实例分别配置 Confirmed 与 Cancelled。消费重试仍可能带来重复处理,组内分工不等于业务恰好执行一次。([RocketMQ][7])
收不到消息先检查哪一环
出现路由或连接错误,先确认两个服务的启动日志,再检查 Topic 创建结果。所有客户端命令必须在 Broker 容器内执行;不要把本例的 namesrv:9876 原样用于宿主机程序。([RocketMQ][3])
发送成功但没有消费记录,检查标签大小写、同组订阅是否一致,以及该组是否已经处理过消息。实验重跑时可再次发送;不要为了看到旧消息直接修改正式业务组的进度。([RocketMQ][7])
先在消费者终端按 Ctrl+C,再清理本实验。由于没有持久化卷,删除容器会同时丢失其中的消息、消费进度和编译产物;这不是生产部署方案。([Docker Documentation][8])
# 仅在本实验目录执行,移除当前 Compose 项目的临时服务。
docker compose down && echo LAB_REMOVED预期输出:容器与网络清理信息后,最后出现以下标记。
LAB_REMOVED验收时分别确认发送结果、过滤结果和消费组独立性,不要用某一处“成功”代替整条消息链路的验证。