消息队列 / 系统课时
可靠消息需要保护哪些环节
可靠消息需要保护哪些环节
一条消息从业务代码出发,到消费者真正完成处理,中间至少跨过生产者到 Broker、Broker 内部存储、Broker 到消费者三段链路。可靠投递的关键不是某一个开关,而是让每一段失败都有对应的检测、恢复和去重机制。
学习目标
- 找出消息从发布到消费过程中可能丢失或重复的位置
- 为三段链路分别选择 Confirm、持久化和手动 ACK 等保护手段
- 理解“至少一次”链路为什么仍然需要消费者幂等
三段链路分别会在哪里出问题
生产者到 Broker 这一段,风险是网络断开、Broker 拒绝发布,或生产者在确认返回前崩溃。Publisher Confirm 用于判断 Broker 是否确认了发布;若确认结果未知,生产者重发时可能造成重复,因此需要稳定消息 ID 和有限重试。
Broker 内部这一段,风险是节点异常后内存中的消息消失。经典队列要同时满足“队列 durable”与“消息 persistent”才能获得磁盘持久化语义;如果使用集群,还需要根据可用性要求选择合适的队列类型与复制策略。持久化提高可靠性,但不能替代发布确认。
Broker 到消费者这一段,风险是消费者刚收到消息便崩溃,或业务处理失败却已经自动 ACK。可靠消费通常关闭自动 ACK,在业务处理成功后再 basicAck;失败时让消息重新入队或进入死信处理。即使如此,消费者在“业务已提交、ACK 尚未送达”时崩溃,消息仍可能再次投递,所以业务侧必须幂等。

最小可靠组合
下面是片段示例:假设项目已经引入 RabbitMQ Java Client,并且本机 RabbitMQ 可连接。示例把三段保护放在同一个程序里:声明 durable 拓扑、发布 persistent 消息并等待 Confirm,然后以手动 ACK 方式消费。
import com.rabbitmq.client.AMQP;
import com.rabbitmq.client.BuiltinExchangeType;
import com.rabbitmq.client.Channel;
import com.rabbitmq.client.Connection;
import com.rabbitmq.client.ConnectionFactory;
import com.rabbitmq.client.GetResponse;
import java.nio.charset.StandardCharsets;
import java.util.UUID;
public class ReliableDeliveryDemo {
public static void main(String[] args) throws Exception {
ConnectionFactory factory = new ConnectionFactory();
factory.setHost("localhost");
try (Connection connection = factory.newConnection();
Channel channel = connection.createChannel()) {
channel.exchangeDeclare("orders", BuiltinExchangeType.DIRECT, true);
channel.queueDeclare("orders.q", true, false, false, null);
channel.queueBind("orders.q", "orders", "created");
channel.confirmSelect();
String messageId = UUID.randomUUID().toString();
AMQP.BasicProperties props = new AMQP.BasicProperties.Builder()
.deliveryMode(2)
.messageId(messageId)
.contentType("text/plain")
.build();
channel.basicPublish(
"orders",
"created",
props,
"order.created".getBytes(StandardCharsets.UTF_8)
);
channel.waitForConfirmsOrDie(5000);
System.out.printf("PUBLISH_CONFIRMED messageId=%s%n", messageId);
GetResponse response = channel.basicGet("orders.q", false);
if (response == null) {
throw new IllegalStateException("queue is empty");
}
long deliveryTag = response.getEnvelope().getDeliveryTag();
String body = new String(
response.getBody(),
StandardCharsets.UTF_8
);
try {
// 真实系统应在这里提交数据库事务或其他业务副作用。
System.out.println("PROCESS " + body);
channel.basicAck(deliveryTag, false);
System.out.printf("CONSUMER_ACK deliveryTag=%d%n", deliveryTag);
} catch (RuntimeException e) {
channel.basicNack(deliveryTag, false, true);
throw e;
}
}
}
}预期输出如下,<ID> 与 <TAG> 为运行时动态值。
PUBLISH_CONFIRMED messageId=<ID>
PROCESS order.created
CONSUMER_ACK deliveryTag=<TAG>这段代码只能验证最小链路,不代表生产系统已经具备完整容灾能力。真实项目还要对连接中断、Confirm 超时、消息不可路由、死信、重试上限和监控告警分别处理。
可靠不等于恰好一次
把 Publisher Confirm、durable 队列、persistent 消息和 manual ACK 全部打开后,链路通常朝“至少一次”语义靠近,而不是自动获得“恰好一次”。最典型的重复场景是消费者已经把订单状态写入数据库,但 ACK 在网络中丢失,Broker 会再次投递同一条消息。
因此,消费者应使用业务唯一键或 messageId 做幂等校验;生产者也应把待发布任务持久化,避免本地事务提交后进程崩溃导致消息根本没机会发送。可靠消息真正保护的是一条端到端链路:每个环节都可检测失败、可恢复,并且重复发生时不会破坏业务结果。