消息队列 / 系统课时

可靠消息需要保护哪些环节

可靠消息需要保护哪些环节

一条消息从业务代码出发,到消费者真正完成处理,中间至少跨过生产者到 Broker、Broker 内部存储、Broker 到消费者三段链路。可靠投递的关键不是某一个开关,而是让每一段失败都有对应的检测、恢复和去重机制。

学习目标

  • 找出消息从发布到消费过程中可能丢失或重复的位置
  • 为三段链路分别选择 Confirm、持久化和手动 ACK 等保护手段
  • 理解“至少一次”链路为什么仍然需要消费者幂等

三段链路分别会在哪里出问题

生产者到 Broker 这一段,风险是网络断开、Broker 拒绝发布,或生产者在确认返回前崩溃。Publisher Confirm 用于判断 Broker 是否确认了发布;若确认结果未知,生产者重发时可能造成重复,因此需要稳定消息 ID 和有限重试。

Broker 内部这一段,风险是节点异常后内存中的消息消失。经典队列要同时满足“队列 durable”与“消息 persistent”才能获得磁盘持久化语义;如果使用集群,还需要根据可用性要求选择合适的队列类型与复制策略。持久化提高可靠性,但不能替代发布确认。

Broker 到消费者这一段,风险是消费者刚收到消息便崩溃,或业务处理失败却已经自动 ACK。可靠消费通常关闭自动 ACK,在业务处理成功后再 basicAck;失败时让消息重新入队或进入死信处理。即使如此,消费者在“业务已提交、ACK 尚未送达”时崩溃,消息仍可能再次投递,所以业务侧必须幂等。

RabbitMQ 可靠投递三段链路

最小可靠组合

下面是片段示例:假设项目已经引入 RabbitMQ Java Client,并且本机 RabbitMQ 可连接。示例把三段保护放在同一个程序里:声明 durable 拓扑、发布 persistent 消息并等待 Confirm,然后以手动 ACK 方式消费。

java
import com.rabbitmq.client.AMQP;
import com.rabbitmq.client.BuiltinExchangeType;
import com.rabbitmq.client.Channel;
import com.rabbitmq.client.Connection;
import com.rabbitmq.client.ConnectionFactory;
import com.rabbitmq.client.GetResponse;

import java.nio.charset.StandardCharsets;
import java.util.UUID;

public class ReliableDeliveryDemo {
    public static void main(String[] args) throws Exception {
        ConnectionFactory factory = new ConnectionFactory();
        factory.setHost("localhost");

        try (Connection connection = factory.newConnection();
             Channel channel = connection.createChannel()) {

            channel.exchangeDeclare("orders", BuiltinExchangeType.DIRECT, true);
            channel.queueDeclare("orders.q", true, false, false, null);
            channel.queueBind("orders.q", "orders", "created");

            channel.confirmSelect();

            String messageId = UUID.randomUUID().toString();
            AMQP.BasicProperties props = new AMQP.BasicProperties.Builder()
                    .deliveryMode(2)
                    .messageId(messageId)
                    .contentType("text/plain")
                    .build();

            channel.basicPublish(
                    "orders",
                    "created",
                    props,
                    "order.created".getBytes(StandardCharsets.UTF_8)
            );

            channel.waitForConfirmsOrDie(5000);
            System.out.printf("PUBLISH_CONFIRMED messageId=%s%n", messageId);

            GetResponse response = channel.basicGet("orders.q", false);
            if (response == null) {
                throw new IllegalStateException("queue is empty");
            }

            long deliveryTag = response.getEnvelope().getDeliveryTag();
            String body = new String(
                    response.getBody(),
                    StandardCharsets.UTF_8
            );

            try {
                // 真实系统应在这里提交数据库事务或其他业务副作用。
                System.out.println("PROCESS " + body);
                channel.basicAck(deliveryTag, false);
                System.out.printf("CONSUMER_ACK deliveryTag=%d%n", deliveryTag);
            } catch (RuntimeException e) {
                channel.basicNack(deliveryTag, false, true);
                throw e;
            }
        }
    }
}

预期输出如下,<ID> 与 <TAG> 为运行时动态值。

text
PUBLISH_CONFIRMED messageId=<ID>
PROCESS order.created
CONSUMER_ACK deliveryTag=<TAG>

这段代码只能验证最小链路,不代表生产系统已经具备完整容灾能力。真实项目还要对连接中断、Confirm 超时、消息不可路由、死信、重试上限和监控告警分别处理。

可靠不等于恰好一次

把 Publisher Confirm、durable 队列、persistent 消息和 manual ACK 全部打开后,链路通常朝“至少一次”语义靠近,而不是自动获得“恰好一次”。最典型的重复场景是消费者已经把订单状态写入数据库,但 ACK 在网络中丢失,Broker 会再次投递同一条消息。

因此,消费者应使用业务唯一键或 messageId 做幂等校验;生产者也应把待发布任务持久化,避免本地事务提交后进程崩溃导致消息根本没机会发送。可靠消息真正保护的是一条端到端链路:每个环节都可检测失败、可恢复,并且重复发生时不会破坏业务结果。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

可靠消息需要保护哪些环节

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通