消息队列 / 系统课时

批量 Confirm 怎样提高吞吐

批量 Confirm 怎样提高吞吐

逐条发布后立刻等待确认,会把发送路径变成“发一条、停一下、再发一条”。批量 Confirm 的目标是连续发送多条消息,再统一等待这一批全部被 Broker 确认,从而减少发送线程被网络往返延迟反复阻塞的次数。

学习目标

  • 理解批量等待为什么能显著降低同步 Confirm 的阻塞开销
  • 用 Java 客户端实现固定批次发布并处理最后一个不足批次
  • 根据吞吐、故障恢复粒度和内存占用选择合适批大小

为什么逐条等待会慢

Publisher Confirm 在 Broker 侧是异步产生的,但 waitForConfirmsOrDie 会让当前发布线程同步等待确认。如果每发布一条就等待一次,后续消息无法利用等待期间继续发送;批量方式则先形成一段连续的在途消息,再等待这一组未确认消息全部完成。RabbitMQ 官方教程也将“逐条等待、批量等待、异步处理”列为三种不同策略,并指出批量等待通常能明显改善吞吐。([RabbitMQ][1])

要注意,批量 Confirm 不等于 Broker 每批只发送一个 ACK。Broker 仍按 Publisher Confirm 协议确认发布序号;这里的“批量”是发布端的等待策略:累计若干条后,再调用一次等待接口。

实现固定批次等待

下面示例假设已经引入 RabbitMQ Java Client,并且本机 localhost:5672 有可用 RabbitMQ。程序发送 250 条消息,每 100 条等待一次,最后 50 条单独完成一次等待。

java
import com.rabbitmq.client.Channel;
import com.rabbitmq.client.Connection;
import com.rabbitmq.client.ConnectionFactory;

import java.nio.charset.StandardCharsets;

public class BatchConfirmDemo {
    private static final int MESSAGE_COUNT = 250;
    private static final int BATCH_SIZE = 100;

    public static void main(String[] args) throws Exception {
        ConnectionFactory factory = new ConnectionFactory();
        factory.setHost("localhost");

        try (Connection connection = factory.newConnection();
             Channel channel = connection.createChannel()) {

            String queue = channel.queueDeclare("", false, true, true, null).getQueue();
            channel.confirmSelect();

            int inBatch = 0;
            int confirmed = 0;

            for (int i = 1; i <= MESSAGE_COUNT; i++) {
                String body = "message-" + i;
                channel.basicPublish(
                        "",
                        queue,
                        null,
                        body.getBytes(StandardCharsets.UTF_8)
                );
                inBatch++;

                if (inBatch == BATCH_SIZE) {
                    channel.waitForConfirmsOrDie(5_000);
                    confirmed += inBatch;
                    System.out.println("confirmed batch=" + inBatch);
                    inBatch = 0;
                }
            }

            // 总数不一定能整除批大小,最后一批不能漏掉。
            if (inBatch > 0) {
                channel.waitForConfirmsOrDie(5_000);
                confirmed += inBatch;
                System.out.println("confirmed batch=" + inBatch);
            }

            System.out.println("all messages confirmed=" + confirmed);
        }
    }
}

预期输出

text
confirmed batch=100
confirmed batch=100
confirmed batch=50
all messages confirmed=250

confirmSelect() 只需对使用 Confirm 的 Channel 启用一次。waitForConfirmsOrDie(5_000) 会等待当前尚未确认的发布;若超时或收到 NACK,则抛出异常,而不是把这一批当成成功。([RabbitMQ][1])

批大小如何取舍

批越大,发送线程进入同步等待的频率通常越低,吞吐更容易提高;但代价是更多消息同时处于未确认状态,失败时需要保留和处理的消息也更多。批越小,故障发现和重试范围更细,但等待次数上升。

因此不要把某个固定数字当成通用最优值。应在真实网络延迟、消息大小和 Broker 负载下压测,并同时观察发送吞吐、Confirm 延迟和未确认消息数量。如果业务要求精确定位哪一条发布失败,批量同步 Confirm 往往不如异步 Confirm 合适。

失败时保留整批上下文

批量等待的主要短板是失败定位粒度。一次等待失败时,发送端不能只靠 waitForConfirmsOrDie 判断这一批里具体哪条消息需要重试,因此生产代码应在确认前保留本批消息的业务标识或消息体,并为超时、NACK 和连接中断设计幂等重试策略。

Confirm 解决的是“发布端如何知道 Broker 是否确认接管这次发布”,它不代表消费者已经处理成功。批量 Confirm 适合希望保留同步代码结构、又需要比逐条等待更高吞吐的发布场景;当吞吐和失败定位要求继续提高时,应转向基于发布序号的异步跟踪。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

批量 Confirm 怎样提高吞吐

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通