Java 后端 / 系统课时

集成 Kafka 生产与消费

集成 Kafka 生产与消费

本课在 Spring Boot 3 项目中接入 Kafka,建立一个 order-created 主题,通过 HTTP 请求发送字符串消息,再由指定消费者组接收。完成后,你将能验证客户端配置、序列化规则、主题和消费组是否协同生效。

学习目标

  • 配置 Kafka 地址、序列化器和消费者组
  • 使用 KafkaTemplate 发送消息并用 @KafkaListener 消费
  • 根据主题、分区、消费组和偏移量定位基础收发问题

准备依赖与 Broker

本示例需要一个可通过 localhost:9092 访问的 Kafka Broker。Spring Boot 3 会管理兼容的 spring-kafka 版本,项目同时使用 Web Starter 暴露测试接口。

xml
<dependencies>
    <dependency>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter-web</artifactId>
    </dependency>
    <dependency>
        <groupId>org.springframework.kafka</groupId>
        <artifactId>spring-kafka</artifactId>
    </dependency>
</dependencies>

依赖生效后,Spring Boot 会根据 spring.kafka.* 配置创建生产者工厂、消费者工厂、KafkaTemplate 和默认监听器容器工厂。

配置客户端与序列化

在 application.yml 中配置 Broker、消费者组以及键和值的序列化方式。生产者和消费者必须对同一字段使用兼容的序列化协议。

yaml
spring:
  kafka:
    bootstrap-servers: localhost:9092
    producer:
      key-serializer: org.apache.kafka.common.serialization.StringSerializer
      value-serializer: org.apache.kafka.common.serialization.StringSerializer
    consumer:
      group-id: order-service
      auto-offset-reset: earliest
      key-deserializer: org.apache.kafka.common.serialization.StringDeserializer
      value-deserializer: org.apache.kafka.common.serialization.StringDeserializer

group-id 标识消费进度的归属。同一主题下,同一消费者组中的实例会协作分担分区;不同消费者组则各自维护偏移量并独立接收消息。earliest 只在该组没有已提交偏移量时决定从最早可用记录开始读取。

理解生产与消费链路

Spring Boot Kafka 基本收发数据流

消息先由生产者序列化为字节并写入主题分区,消费者再按所属消费组读取分区记录并反序列化。Kafka 保证的是分区内顺序,因此需要顺序处理的同一业务键应保持一致,例如本例把消息文本同时作为消息键。

编写主题、生产者与消费者

下面使用 NewTopic 在应用启动时声明主题;主题已存在时不会重复创建。HTTP 接口等待发送结果完成后再返回,便于基础验证时立即发现 Broker 连接或发送失败。

java
package com.example.kafkademo;

import org.apache.kafka.clients.admin.NewTopic;
import org.springframework.boot.SpringApplication;
import org.springframework.boot.autoconfigure.SpringBootApplication;
import org.springframework.context.annotation.Bean;
import org.springframework.http.ResponseEntity;
import org.springframework.kafka.annotation.KafkaListener;
import org.springframework.kafka.config.TopicBuilder;
import org.springframework.kafka.core.KafkaTemplate;
import org.springframework.web.bind.annotation.PathVariable;
import org.springframework.web.bind.annotation.PostMapping;
import org.springframework.web.bind.annotation.RestController;

@SpringBootApplication
public class KafkaDemoApplication {

    public static void main(String[] args) {
        SpringApplication.run(KafkaDemoApplication.class, args);
    }

    @Bean
    NewTopic orderCreatedTopic() {
        return TopicBuilder.name("order-created")
                .partitions(3)
                .replicas(1)
                .build();
    }

    @Bean
    MessageController messageController(KafkaTemplate<String, String> template) {
        return new MessageController(template);
    }

    @Bean
    OrderConsumer orderConsumer() {
        return new OrderConsumer();
    }

    @RestController
    static final class MessageController {
        private final KafkaTemplate<String, String> template;

        MessageController(KafkaTemplate<String, String> template) {
            this.template = template;
        }

        @PostMapping("/messages/{message}")
        ResponseEntity<String> send(@PathVariable String message) {
            // 使用相同键可让相关消息稳定进入同一分区
            template.send("order-created", message, message).join();
            return ResponseEntity.ok("sent:" + message);
        }
    }

    static final class OrderConsumer {

        @KafkaListener(topics = "order-created")
        void consume(String message) {
            System.out.println("received:" + message);
        }
    }
}

预期结果

text
应用启动并持续运行,等待 /messages/{message} 请求。

应用启动后,向实际服务端口发送测试请求;默认端口通常为 8080,若已修改请用真实值替换 <PORT>。

bash
curl -X POST "http://localhost:<PORT>/messages/order-1001"

预期输出

text
sent:order-1001

应用控制台随后应出现:

text
received:order-1001

日志中的时间、线程名和分区信息可能因环境不同而变化,但消息正文应一致。

验证与处理常见失败

若应用启动时持续连接失败,先确认 bootstrap-servers 指向客户端可访问的监听地址,而不是 Broker 容器内部地址。若发送成功但监听器没有输出,检查监听器主题名、消费者组偏移量以及应用是否连接到同一 Kafka 集群。

出现反序列化异常时,应逐项核对生产者与消费者的键、值类型。字符串消息必须同时使用 StringSerializer 和 StringDeserializer;改为 JSON 对象时,需要同步调整序列化器、目标类型和可信包配置,不能只修改 Java 方法参数。

开发环境可用单副本主题,生产环境的副本数必须结合 Broker 数量和容灾目标设置。消费者实例数超过分区数时,多出的实例不会获得分区,不能通过无限增加实例提升并行度。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

集成 Kafka 生产与消费

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通