消息队列 / 系统课时
消息发送链路怎么走
消息发送链路怎么走
本篇把 Kafka Producer 一条消息从业务代码到 Broker 应答的路径拆开,明确每一层负责什么,以及“调用完成”为什么不等于“消息已经可靠落到 Broker”。
学习目标
- 说清 Producer 从业务调用到 Broker 应答的主要阶段
- 理解序列化、缓冲、网络发送和应答之间的职责边界
- 能从发送结果判断问题发生在本地还是 Broker 侧
从业务调用到 Broker 应答
一次常见的生产路径可以概括为:业务创建消息并调用 send,Producer 完成 key/value 序列化,把记录放入本地缓冲区,再由 Sender 线程按分区组织请求并通过网络发往 Broker;Broker 处理请求后返回应答,Producer 再把结果交给调用方。

这条链路中,业务线程并不会直接把对象“写进 Kafka 文件”。业务线程首先把待发送记录交给 Producer;Producer 负责把对象转换成字节,并根据分区规则决定消息应该进入哪个分区对应的批次。
序列化和分区发生在哪里
Kafka Producer 最终发送的是字节序列,因此 key 和 value 必须经过对应的 Serializer。序列化失败属于客户端侧失败,通常在真正发出网络请求以前就已经暴露。
分区决定消息进入哪个 Broker 管理的分区。若记录已经明确指定 partition,就使用该值;否则 Producer 会依据 key 或生产者的分区策略选择分区。这个决定还会影响后续批次组织、并发发送以及同一分区内的顺序。
缓冲区为什么存在
Producer 通常不会每调用一次 send 就立刻建立一次独立网络请求,而是先把记录放入本地缓冲区,等待满足批量或发送条件后交由 Sender 线程发出。这样可以减少请求次数,提高吞吐,同时也意味着“调用 send 返回”只说明记录进入了 Producer 的处理路径。
下面示例用最小 Producer 展示业务调用和异步发送结果的关系。它依赖一个可访问的 Kafka Broker,bootstrap.servers 请替换为实际地址。
import java.util.Properties;
import java.util.concurrent.Future;
import org.apache.kafka.clients.producer.KafkaProducer;
import org.apache.kafka.clients.producer.ProducerRecord;
import org.apache.kafka.clients.producer.RecordMetadata;
import org.apache.kafka.common.serialization.StringSerializer;
public class ProducerSendFlowDemo {
public static void main(String[] args) throws Exception {
Properties props = new Properties();
props.put("bootstrap.servers", "<HOST>:<PORT>");
props.put("key.serializer", StringSerializer.class.getName());
props.put("value.serializer", StringSerializer.class.getName());
try (KafkaProducer<String, String> producer = new KafkaProducer<>(props)) {
ProducerRecord<String, String> record =
new ProducerRecord<>("orders", "order-<ID>", "created");
// send 先进入 Producer 的本地发送路径,Future 用于观察最终结果。
Future<RecordMetadata> future = producer.send(record);
RecordMetadata metadata = future.get();
System.out.printf("topic=%s partition=%d offset=%d%n",
metadata.topic(), metadata.partition(), metadata.offset());
}
}
}预期输出:
topic=orders partition=<PARTITION> offset=<OFFSET>实际 partition 和 offset 会随集群分区数量及已有消息位置变化;关键是 Future.get() 返回了 RecordMetadata,说明 Broker 已返回成功应答,而不是仅仅说明业务代码调用过 send。
哪些阶段可能失败
把故障按链路分层,比只看“发送失败”更容易定位。序列化失败通常发生在客户端准备阶段;缓冲区资源不足可能导致发送调用或等待过程出现异常;网络连接、请求超时和 Broker 错误则发生在客户端与服务端交互阶段。
因此排查时先确认失败发生在 send 调用附近、Future/Callback 结果,还是 Broker 已经处理请求之后。只有把失败位置和对应阶段对上,才能继续判断是代码问题、Producer 配置问题、网络问题还是 Broker 状态问题。
可靠投递的关键不是记住一条抽象的“发送链路”,而是始终知道当前消息处于本地处理、网络传输还是 Broker 应答后的哪个阶段。