消息队列 / 系统课时

优先级队列

优先级队列

优先级队列解决的是“积压消息不应一律按到达顺序处理”的问题。RabbitMQ 会在仍处于队列中的消息之间优先投递较高优先级消息,但这种调度会影响公平性、吞吐和资源使用,不能把优先级当成绝对实时保证。

学习目标

  • 配置 Classic Queue 的消息优先级并验证实际投递顺序
  • 理解 prefetch、消息积压与优先级是否生效之间的关系
  • 区分 RabbitMQ 4.3 中 Classic Queue 与 Quorum Queue 的优先级模型

优先级只重排尚未投递的消息

普通队列近似 FIFO:消息先进入队列,通常也先被消费者拿到。启用消息优先级后,RabbitMQ 会优先从仍在队列中等待的高优先级消息开始投递,但不会把已经发送给消费者且尚未 ACK 的低优先级消息强行收回。

因此,优先级最容易在“生产速度暂时高于消费速度、队列形成积压”时体现。如果消费者连接到空队列且处理很快,消息几乎一到达就被投递,Broker 没有足够的待选消息可重排,此时即使设置了 priority,观察到的顺序也可能接近发布顺序。

配置 Classic Queue 并验证顺序

Classic Queue 默认不启用优先级。声明队列时要通过 x-max-priority 固定最大优先级,该值创建后不能靠策略动态修改。实际工程通常只需要少量等级,例如 2~4 级;等级越多,Broker 为优先级维护内部子队列的 CPU 与内存开销越高。

下面示例先把三条消息全部压入队列,再启动消费者,并把 prefetch 设为 1,使 Broker 每次只向消费者推进少量未确认消息,从而清楚观察优先级排序。

java
import com.rabbitmq.client.AMQP;
import com.rabbitmq.client.Channel;
import com.rabbitmq.client.Connection;
import com.rabbitmq.client.ConnectionFactory;

import java.nio.charset.StandardCharsets;
import java.util.HashMap;
import java.util.Map;
import java.util.concurrent.CountDownLatch;
import java.util.concurrent.TimeUnit;

public class PriorityQueueDemo {
    private static void publish(Channel channel, String queue, String body, int priority)
            throws Exception {
        AMQP.BasicProperties properties = new AMQP.BasicProperties.Builder()
                .priority(priority)
                .build();

        channel.basicPublish(
                "",
                queue,
                properties,
                body.getBytes(StandardCharsets.UTF_8)
        );
    }

    public static void main(String[] args) throws Exception {
        ConnectionFactory factory = new ConnectionFactory();
        factory.setHost("localhost");

        try (Connection connection = factory.newConnection();
             Channel channel = connection.createChannel()) {
            Map<String, Object> arguments = new HashMap<>();
            arguments.put("x-max-priority", 4);

            String queue = channel.queueDeclare(
                    "",
                    false,
                    true,
                    true,
                    arguments
            ).getQueue();

            publish(channel, queue, "low", 1);
            publish(channel, queue, "high", 4);
            publish(channel, queue, "normal", 2);

            CountDownLatch done = new CountDownLatch(3);
            channel.basicQos(1);
            channel.basicConsume(
                    queue,
                    false,
                    (tag, delivery) -> {
                        System.out.println(
                                new String(delivery.getBody(), StandardCharsets.UTF_8)
                        );
                        channel.basicAck(delivery.getEnvelope().getDeliveryTag(), false);
                        done.countDown();
                    },
                    tag -> { }
            );

            if (!done.await(5, TimeUnit.SECONDS)) {
                throw new IllegalStateException("Timed out while consuming");
            }
        }
    }
}

预期输出:

text
high
normal
low

这个结果成立的关键是三条消息在消费者开始前已经处于 Ready 状态,Broker 有机会比较它们的优先级。若把消费者提前启动,或把 prefetch 调得很大,低优先级消息可能已经进入消费者的未确认缓冲区,之后到达的高优先级消息无法越过这些已投递消息。

公平性、吞吐与资源开销

优先级越强,越容易牺牲低优先级消息的等待时间。如果高优先级流量持续不断,低优先级消息可能长期得不到处理,这就是典型的饥饿问题。业务若要求“紧急任务优先,但普通任务最终一定被服务”,应同时设计限流、老化提升或独立队列加权消费,而不是只依赖一个 priority 数值。

Classic Queue 的优先级等级越多,内部维护成本越高,因此不要把业务里的几十种状态直接映射成几十级优先级。另一个常见误区是把 prefetch 设置得非常大来追求吞吐:这会把大量消息提前交给消费者,减少 Broker 重新选择高优先级消息的机会。吞吐和调度精度需要一起压测。

RabbitMQ 4.3 的 Quorum Queue 不同

RabbitMQ 4.3 为 Quorum Queue 提供 32 个严格优先级等级,范围为 0~31,并且始终启用;x-max-priority 只用于 Classic Queue,对 Quorum Queue 不起作用。发布方式仍然是设置消息属性中的 priority,较大的值优先。

对比项 Classic Queue Quorum Queue 4.3
是否需要显式启用 需要 x-max-priority 不需要,始终启用
可用范围 0 到声明的最大值,声明值可为 1~255 0~31
未设置 priority 按 0 处理 按 4 处理
超出范围 按队列最大值处理 收敛到 0~31
主要成本 等级越多,CPU 与内存开销越高 还需承担 Quorum Queue 的复制与一致性成本

如果业务只需要少量紧急等级且已有 Classic Queue,低个位数的 x-max-priority 通常足够;如果同时需要 Quorum Queue 的数据安全语义,应直接按 4.3 的 0~31 模型设计发布端。无论使用哪一种队列,都应通过积压场景、不同 prefetch 和持续高优先级流量做压测,验证低优先级消息不会被业务目标之外地长期饿死。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

优先级队列

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通