消息队列 / 系统课时

同步发送与异步发送

同步发送与异步发送

Kafka Producer 的 send() 本身是异步 API;所谓“同步发送”,通常是在调用后立即等待返回的 Future<RecordMetadata>。本课用同一条消息演示 Future 与 Callback 两种处理方式,并说明异常应该在哪一层接住。

学习目标

  • 理解 send()、Future.get() 与 Callback 的完成时机
  • 能分别处理同步等待和异步回调中的发送异常
  • 根据延迟、吞吐和错误处理要求选择发送模式

两种发送模式的本质

producer.send(record) 会把消息交给 Producer 的缓冲与后台发送线程,并返回 Future<RecordMetadata>。如果立即调用 get(),业务线程会等待 Broker 确认,因此表现为同步发送;如果不等待,而把结果处理逻辑交给 Callback,业务线程可以继续提交后续消息。

模式 业务线程 成功结果 主要代价
send().get() 等待本次发送完成 从 RecordMetadata 直接取得分区、offset 单条等待会限制吞吐
send(record, callback) 提交后继续执行 在回调中取得 RecordMetadata 错误处理变成异步路径

用 Future 做同步发送

下面的类假设工程已经引入 org.apache.kafka:kafka-clients,本机 Kafka 可通过 localhost:9092 访问,并且 Topic demo-send 已存在。Future.get() 成功后才继续执行,因此适合“必须马上知道这一条是否完成”的路径。

java
import java.util.Properties;
import java.util.concurrent.ExecutionException;
import org.apache.kafka.clients.producer.KafkaProducer;
import org.apache.kafka.clients.producer.ProducerRecord;
import org.apache.kafka.clients.producer.RecordMetadata;
import org.apache.kafka.common.serialization.StringSerializer;

public class SyncProducerDemo {
    public static void main(String[] args) {
        Properties props = new Properties();
        props.put("bootstrap.servers", "localhost:9092");
        props.put("key.serializer", StringSerializer.class.getName());
        props.put("value.serializer", StringSerializer.class.getName());
        props.put("acks", "all");

        try (KafkaProducer<String, String> producer = new KafkaProducer<>(props)) {
            ProducerRecord<String, String> record =
                    new ProducerRecord<>("demo-send", "order-1001", "created");

            try {
                // get() 把异步 send 转成当前线程可感知的同步等待。
                RecordMetadata metadata = producer.send(record).get();
                System.out.printf(
                        "sync success partition=%d, offset=%d%n",
                        metadata.partition(), metadata.offset());
            } catch (InterruptedException e) {
                Thread.currentThread().interrupt();
                System.err.println("sync interrupted");
            } catch (ExecutionException e) {
                System.err.println("sync failed: " + e.getCause().getClass().getSimpleName());
            }
        }
    }
}

预期输出

text
sync success partition=<ID>, offset=<ID>

partition 和 offset 由集群实际写入结果决定,因此示例使用 <ID> 表示动态值。若 Broker、权限或 Topic 配置导致发送失败,get() 会通过 ExecutionException 暴露异步发送阶段的异常。

用 Callback 做异步发送

高吞吐路径通常不应逐条 get()。可以让业务线程持续调用 send(),在回调里记录成功元数据或进入错误处理逻辑。回调应保持轻量,因为耗时阻塞会拖慢 Producer 的 I/O 处理。

java
import java.util.Properties;
import org.apache.kafka.clients.producer.KafkaProducer;
import org.apache.kafka.clients.producer.ProducerRecord;
import org.apache.kafka.common.serialization.StringSerializer;

public class AsyncProducerDemo {
    public static void main(String[] args) {
        Properties props = new Properties();
        props.put("bootstrap.servers", "localhost:9092");
        props.put("key.serializer", StringSerializer.class.getName());
        props.put("value.serializer", StringSerializer.class.getName());
        props.put("acks", "all");

        try (KafkaProducer<String, String> producer = new KafkaProducer<>(props)) {
            ProducerRecord<String, String> record =
                    new ProducerRecord<>("demo-send", "order-1002", "paid");

            try {
                producer.send(record, (metadata, exception) -> {
                    if (exception != null) {
                        System.err.println("async failed: " + exception.getClass().getSimpleName());
                        return;
                    }
                    System.out.printf(
                            "async success partition=%d, offset=%d%n",
                            metadata.partition(), metadata.offset());
                });
            } catch (RuntimeException e) {
                // 序列化、客户端状态等问题可能在 send 调用阶段直接抛出。
                System.err.println("submit failed: " + e.getClass().getSimpleName());
            }
        }
    }
}

预期输出

text
async success partition=<ID>, offset=<ID>

try-with-resources 会在退出时关闭 Producer,并等待此前发送的请求完成。在线服务中通常复用长生命周期的 Producer,而不是每条消息都创建和关闭一个实例。

异常处理与模式选择

同步模式要同时考虑两类失败:send() 调用阶段可能直接抛出的异常,以及 Future.get() 返回的发送结果异常。异步模式同样要保护 send() 调用本身,同时在 Callback 的 exception 参数中处理最终失败。

当下一步业务动作必须依赖当前消息的写入结果时,可以同步等待;大量独立消息追求吞吐时,优先异步发送并把失败记录到可重试、告警或补偿链路。不要在异步回调里直接执行慢数据库操作,也不要把“应用重新发送”当成无条件重试策略,以免引入重复消息。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

同步发送与异步发送

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通