Java 后端 / 系统课时
集成 Kafka 生产与消费
集成 Kafka 生产与消费
本课在 Spring Boot 3 项目中接入 Kafka,建立一个 order-created 主题,通过 HTTP 请求发送字符串消息,再由指定消费者组接收。完成后,你将能验证客户端配置、序列化规则、主题和消费组是否协同生效。
学习目标
- 配置 Kafka 地址、序列化器和消费者组
- 使用
KafkaTemplate发送消息并用@KafkaListener消费 - 根据主题、分区、消费组和偏移量定位基础收发问题
准备依赖与 Broker
本示例需要一个可通过 localhost:9092 访问的 Kafka Broker。Spring Boot 3 会管理兼容的 spring-kafka 版本,项目同时使用 Web Starter 暴露测试接口。
<dependencies>
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-web</artifactId>
</dependency>
<dependency>
<groupId>org.springframework.kafka</groupId>
<artifactId>spring-kafka</artifactId>
</dependency>
</dependencies>依赖生效后,Spring Boot 会根据 spring.kafka.* 配置创建生产者工厂、消费者工厂、KafkaTemplate 和默认监听器容器工厂。
配置客户端与序列化
在 application.yml 中配置 Broker、消费者组以及键和值的序列化方式。生产者和消费者必须对同一字段使用兼容的序列化协议。
spring:
kafka:
bootstrap-servers: localhost:9092
producer:
key-serializer: org.apache.kafka.common.serialization.StringSerializer
value-serializer: org.apache.kafka.common.serialization.StringSerializer
consumer:
group-id: order-service
auto-offset-reset: earliest
key-deserializer: org.apache.kafka.common.serialization.StringDeserializer
value-deserializer: org.apache.kafka.common.serialization.StringDeserializergroup-id 标识消费进度的归属。同一主题下,同一消费者组中的实例会协作分担分区;不同消费者组则各自维护偏移量并独立接收消息。earliest 只在该组没有已提交偏移量时决定从最早可用记录开始读取。
理解生产与消费链路

消息先由生产者序列化为字节并写入主题分区,消费者再按所属消费组读取分区记录并反序列化。Kafka 保证的是分区内顺序,因此需要顺序处理的同一业务键应保持一致,例如本例把消息文本同时作为消息键。
编写主题、生产者与消费者
下面使用 NewTopic 在应用启动时声明主题;主题已存在时不会重复创建。HTTP 接口等待发送结果完成后再返回,便于基础验证时立即发现 Broker 连接或发送失败。
package com.example.kafkademo;
import org.apache.kafka.clients.admin.NewTopic;
import org.springframework.boot.SpringApplication;
import org.springframework.boot.autoconfigure.SpringBootApplication;
import org.springframework.context.annotation.Bean;
import org.springframework.http.ResponseEntity;
import org.springframework.kafka.annotation.KafkaListener;
import org.springframework.kafka.config.TopicBuilder;
import org.springframework.kafka.core.KafkaTemplate;
import org.springframework.web.bind.annotation.PathVariable;
import org.springframework.web.bind.annotation.PostMapping;
import org.springframework.web.bind.annotation.RestController;
@SpringBootApplication
public class KafkaDemoApplication {
public static void main(String[] args) {
SpringApplication.run(KafkaDemoApplication.class, args);
}
@Bean
NewTopic orderCreatedTopic() {
return TopicBuilder.name("order-created")
.partitions(3)
.replicas(1)
.build();
}
@Bean
MessageController messageController(KafkaTemplate<String, String> template) {
return new MessageController(template);
}
@Bean
OrderConsumer orderConsumer() {
return new OrderConsumer();
}
@RestController
static final class MessageController {
private final KafkaTemplate<String, String> template;
MessageController(KafkaTemplate<String, String> template) {
this.template = template;
}
@PostMapping("/messages/{message}")
ResponseEntity<String> send(@PathVariable String message) {
// 使用相同键可让相关消息稳定进入同一分区
template.send("order-created", message, message).join();
return ResponseEntity.ok("sent:" + message);
}
}
static final class OrderConsumer {
@KafkaListener(topics = "order-created")
void consume(String message) {
System.out.println("received:" + message);
}
}
}预期结果
应用启动并持续运行,等待 /messages/{message} 请求。应用启动后,向实际服务端口发送测试请求;默认端口通常为 8080,若已修改请用真实值替换 <PORT>。
curl -X POST "http://localhost:<PORT>/messages/order-1001"预期输出
sent:order-1001应用控制台随后应出现:
received:order-1001日志中的时间、线程名和分区信息可能因环境不同而变化,但消息正文应一致。
验证与处理常见失败
若应用启动时持续连接失败,先确认 bootstrap-servers 指向客户端可访问的监听地址,而不是 Broker 容器内部地址。若发送成功但监听器没有输出,检查监听器主题名、消费者组偏移量以及应用是否连接到同一 Kafka 集群。
出现反序列化异常时,应逐项核对生产者与消费者的键、值类型。字符串消息必须同时使用 StringSerializer 和 StringDeserializer;改为 JSON 对象时,需要同步调整序列化器、目标类型和可信包配置,不能只修改 Java 方法参数。
开发环境可用单副本主题,生产环境的副本数必须结合 Broker 数量和容灾目标设置。消费者实例数超过分区数时,多出的实例不会获得分区,不能通过无限增加实例提升并行度。