消息队列 / 系统课时
优先级队列
优先级队列
优先级队列解决的是“积压消息不应一律按到达顺序处理”的问题。RabbitMQ 会在仍处于队列中的消息之间优先投递较高优先级消息,但这种调度会影响公平性、吞吐和资源使用,不能把优先级当成绝对实时保证。
学习目标
- 配置 Classic Queue 的消息优先级并验证实际投递顺序
- 理解 prefetch、消息积压与优先级是否生效之间的关系
- 区分 RabbitMQ 4.3 中 Classic Queue 与 Quorum Queue 的优先级模型
优先级只重排尚未投递的消息
普通队列近似 FIFO:消息先进入队列,通常也先被消费者拿到。启用消息优先级后,RabbitMQ 会优先从仍在队列中等待的高优先级消息开始投递,但不会把已经发送给消费者且尚未 ACK 的低优先级消息强行收回。
因此,优先级最容易在“生产速度暂时高于消费速度、队列形成积压”时体现。如果消费者连接到空队列且处理很快,消息几乎一到达就被投递,Broker 没有足够的待选消息可重排,此时即使设置了 priority,观察到的顺序也可能接近发布顺序。
配置 Classic Queue 并验证顺序
Classic Queue 默认不启用优先级。声明队列时要通过 x-max-priority 固定最大优先级,该值创建后不能靠策略动态修改。实际工程通常只需要少量等级,例如 2~4 级;等级越多,Broker 为优先级维护内部子队列的 CPU 与内存开销越高。
下面示例先把三条消息全部压入队列,再启动消费者,并把 prefetch 设为 1,使 Broker 每次只向消费者推进少量未确认消息,从而清楚观察优先级排序。
import com.rabbitmq.client.AMQP;
import com.rabbitmq.client.Channel;
import com.rabbitmq.client.Connection;
import com.rabbitmq.client.ConnectionFactory;
import java.nio.charset.StandardCharsets;
import java.util.HashMap;
import java.util.Map;
import java.util.concurrent.CountDownLatch;
import java.util.concurrent.TimeUnit;
public class PriorityQueueDemo {
private static void publish(Channel channel, String queue, String body, int priority)
throws Exception {
AMQP.BasicProperties properties = new AMQP.BasicProperties.Builder()
.priority(priority)
.build();
channel.basicPublish(
"",
queue,
properties,
body.getBytes(StandardCharsets.UTF_8)
);
}
public static void main(String[] args) throws Exception {
ConnectionFactory factory = new ConnectionFactory();
factory.setHost("localhost");
try (Connection connection = factory.newConnection();
Channel channel = connection.createChannel()) {
Map<String, Object> arguments = new HashMap<>();
arguments.put("x-max-priority", 4);
String queue = channel.queueDeclare(
"",
false,
true,
true,
arguments
).getQueue();
publish(channel, queue, "low", 1);
publish(channel, queue, "high", 4);
publish(channel, queue, "normal", 2);
CountDownLatch done = new CountDownLatch(3);
channel.basicQos(1);
channel.basicConsume(
queue,
false,
(tag, delivery) -> {
System.out.println(
new String(delivery.getBody(), StandardCharsets.UTF_8)
);
channel.basicAck(delivery.getEnvelope().getDeliveryTag(), false);
done.countDown();
},
tag -> { }
);
if (!done.await(5, TimeUnit.SECONDS)) {
throw new IllegalStateException("Timed out while consuming");
}
}
}
}预期输出:
high
normal
low这个结果成立的关键是三条消息在消费者开始前已经处于 Ready 状态,Broker 有机会比较它们的优先级。若把消费者提前启动,或把 prefetch 调得很大,低优先级消息可能已经进入消费者的未确认缓冲区,之后到达的高优先级消息无法越过这些已投递消息。
公平性、吞吐与资源开销
优先级越强,越容易牺牲低优先级消息的等待时间。如果高优先级流量持续不断,低优先级消息可能长期得不到处理,这就是典型的饥饿问题。业务若要求“紧急任务优先,但普通任务最终一定被服务”,应同时设计限流、老化提升或独立队列加权消费,而不是只依赖一个 priority 数值。
Classic Queue 的优先级等级越多,内部维护成本越高,因此不要把业务里的几十种状态直接映射成几十级优先级。另一个常见误区是把 prefetch 设置得非常大来追求吞吐:这会把大量消息提前交给消费者,减少 Broker 重新选择高优先级消息的机会。吞吐和调度精度需要一起压测。
RabbitMQ 4.3 的 Quorum Queue 不同
RabbitMQ 4.3 为 Quorum Queue 提供 32 个严格优先级等级,范围为 0~31,并且始终启用;x-max-priority 只用于 Classic Queue,对 Quorum Queue 不起作用。发布方式仍然是设置消息属性中的 priority,较大的值优先。
| 对比项 | Classic Queue | Quorum Queue 4.3 |
|---|---|---|
| 是否需要显式启用 | 需要 x-max-priority |
不需要,始终启用 |
| 可用范围 | 0 到声明的最大值,声明值可为 1~255 | 0~31 |
未设置 priority |
按 0 处理 | 按 4 处理 |
| 超出范围 | 按队列最大值处理 | 收敛到 0~31 |
| 主要成本 | 等级越多,CPU 与内存开销越高 | 还需承担 Quorum Queue 的复制与一致性成本 |
如果业务只需要少量紧急等级且已有 Classic Queue,低个位数的 x-max-priority 通常足够;如果同时需要 Quorum Queue 的数据安全语义,应直接按 4.3 的 0~31 模型设计发布端。无论使用哪一种队列,都应通过积压场景、不同 prefetch 和持续高优先级流量做压测,验证低优先级消息不会被业务目标之外地长期饿死。