消息队列 / 系统课时
同步发送与异步发送
同步发送与异步发送
Kafka Producer 的 send() 本身是异步 API;所谓“同步发送”,通常是在调用后立即等待返回的 Future<RecordMetadata>。本课用同一条消息演示 Future 与 Callback 两种处理方式,并说明异常应该在哪一层接住。
学习目标
- 理解
send()、Future.get()与Callback的完成时机 - 能分别处理同步等待和异步回调中的发送异常
- 根据延迟、吞吐和错误处理要求选择发送模式
两种发送模式的本质
producer.send(record) 会把消息交给 Producer 的缓冲与后台发送线程,并返回 Future<RecordMetadata>。如果立即调用 get(),业务线程会等待 Broker 确认,因此表现为同步发送;如果不等待,而把结果处理逻辑交给 Callback,业务线程可以继续提交后续消息。
| 模式 | 业务线程 | 成功结果 | 主要代价 |
|---|---|---|---|
send().get() |
等待本次发送完成 | 从 RecordMetadata 直接取得分区、offset |
单条等待会限制吞吐 |
send(record, callback) |
提交后继续执行 | 在回调中取得 RecordMetadata |
错误处理变成异步路径 |
用 Future 做同步发送
下面的类假设工程已经引入 org.apache.kafka:kafka-clients,本机 Kafka 可通过 localhost:9092 访问,并且 Topic demo-send 已存在。Future.get() 成功后才继续执行,因此适合“必须马上知道这一条是否完成”的路径。
import java.util.Properties;
import java.util.concurrent.ExecutionException;
import org.apache.kafka.clients.producer.KafkaProducer;
import org.apache.kafka.clients.producer.ProducerRecord;
import org.apache.kafka.clients.producer.RecordMetadata;
import org.apache.kafka.common.serialization.StringSerializer;
public class SyncProducerDemo {
public static void main(String[] args) {
Properties props = new Properties();
props.put("bootstrap.servers", "localhost:9092");
props.put("key.serializer", StringSerializer.class.getName());
props.put("value.serializer", StringSerializer.class.getName());
props.put("acks", "all");
try (KafkaProducer<String, String> producer = new KafkaProducer<>(props)) {
ProducerRecord<String, String> record =
new ProducerRecord<>("demo-send", "order-1001", "created");
try {
// get() 把异步 send 转成当前线程可感知的同步等待。
RecordMetadata metadata = producer.send(record).get();
System.out.printf(
"sync success partition=%d, offset=%d%n",
metadata.partition(), metadata.offset());
} catch (InterruptedException e) {
Thread.currentThread().interrupt();
System.err.println("sync interrupted");
} catch (ExecutionException e) {
System.err.println("sync failed: " + e.getCause().getClass().getSimpleName());
}
}
}
}预期输出
sync success partition=<ID>, offset=<ID>partition 和 offset 由集群实际写入结果决定,因此示例使用 <ID> 表示动态值。若 Broker、权限或 Topic 配置导致发送失败,get() 会通过 ExecutionException 暴露异步发送阶段的异常。
用 Callback 做异步发送
高吞吐路径通常不应逐条 get()。可以让业务线程持续调用 send(),在回调里记录成功元数据或进入错误处理逻辑。回调应保持轻量,因为耗时阻塞会拖慢 Producer 的 I/O 处理。
import java.util.Properties;
import org.apache.kafka.clients.producer.KafkaProducer;
import org.apache.kafka.clients.producer.ProducerRecord;
import org.apache.kafka.common.serialization.StringSerializer;
public class AsyncProducerDemo {
public static void main(String[] args) {
Properties props = new Properties();
props.put("bootstrap.servers", "localhost:9092");
props.put("key.serializer", StringSerializer.class.getName());
props.put("value.serializer", StringSerializer.class.getName());
props.put("acks", "all");
try (KafkaProducer<String, String> producer = new KafkaProducer<>(props)) {
ProducerRecord<String, String> record =
new ProducerRecord<>("demo-send", "order-1002", "paid");
try {
producer.send(record, (metadata, exception) -> {
if (exception != null) {
System.err.println("async failed: " + exception.getClass().getSimpleName());
return;
}
System.out.printf(
"async success partition=%d, offset=%d%n",
metadata.partition(), metadata.offset());
});
} catch (RuntimeException e) {
// 序列化、客户端状态等问题可能在 send 调用阶段直接抛出。
System.err.println("submit failed: " + e.getClass().getSimpleName());
}
}
}
}预期输出
async success partition=<ID>, offset=<ID>try-with-resources 会在退出时关闭 Producer,并等待此前发送的请求完成。在线服务中通常复用长生命周期的 Producer,而不是每条消息都创建和关闭一个实例。
异常处理与模式选择
同步模式要同时考虑两类失败:send() 调用阶段可能直接抛出的异常,以及 Future.get() 返回的发送结果异常。异步模式同样要保护 send() 调用本身,同时在 Callback 的 exception 参数中处理最终失败。
当下一步业务动作必须依赖当前消息的写入结果时,可以同步等待;大量独立消息追求吞吐时,优先异步发送并把失败记录到可重试、告警或补偿链路。不要在异步回调里直接执行慢数据库操作,也不要把“应用重新发送”当成无条件重试策略,以免引入重复消息。