消息队列 / 系统课时

集成 Spring Kafka 生产端

集成 Spring Kafka 生产端

这一课把订单事件从 Spring Boot 稳定写入 Kafka:用统一事件信封固定消息结构,用 KafkaTemplate 异步发送并读取确认结果,同时显式开启幂等生产,避免网络重试造成同一发送请求被重复写入。

学习目标

  • 配置 KafkaTemplate 所需的序列化、确认级别与幂等参数
  • 设计包含事件标识、类型、时间和业务数据的统一事件信封
  • 使用异步回调确认分区与 offset,并区分发送幂等与业务去重

建立生产端最小配置

已有 Spring Boot 项目只需要引入 Spring Kafka;Kafka Broker 假设可通过 localhost:9092 访问。下面的 Maven 内容是片段示例,应放入现有 pom.xml 的 dependencies 节点。

xml
<dependency>
    <groupId>org.springframework.kafka</groupId>
    <artifactId>spring-kafka</artifactId>
</dependency>

生产端使用字符串键和 JSON 值。订单号作为消息键,可以让同一订单稳定进入同一分区,从而保留该订单事件的分区内顺序。

yaml
spring:
  kafka:
    bootstrap-servers: localhost:9092
    producer:
      key-serializer: org.apache.kafka.common.serialization.StringSerializer
      value-serializer: org.springframework.kafka.support.serializer.JsonSerializer
      acks: all
      retries: 10
      properties:
        enable.idempotence: true
        max.in.flight.requests.per.connection: 5
        spring.json.add.type.headers: false

acks=all 要求当前同步副本满足确认条件后再返回;enable.idempotence=true 让 Kafka Producer 为重试请求附带幂等序列信息。max.in.flight.requests.per.connection 保持不高于 5,可以与幂等机制配合维持重试时的顺序保证。

统一事件信封并发送

事件信封把基础元数据与业务负载分开,消费者无需从不同消息体里猜测事件类型或版本。下面是片段示例,需要放在已启用 Spring Kafka 的应用中;Spring Boot 会根据前面的配置自动提供 KafkaTemplate。

java
import java.math.BigDecimal;
import java.time.Instant;
import java.util.UUID;
import java.util.concurrent.CompletableFuture;

import org.slf4j.Logger;
import org.slf4j.LoggerFactory;
import org.springframework.kafka.core.KafkaTemplate;
import org.springframework.kafka.support.SendResult;
import org.springframework.stereotype.Service;

record OrderCreated(String orderId, BigDecimal amount) {}

record EventEnvelope<T>(
        String eventId,
        String eventType,
        Instant occurredAt,
        int schemaVersion,
        String aggregateId,
        T data) {

    static <T> EventEnvelope<T> of(String type, String aggregateId, T data) {
        return new EventEnvelope<>(
                UUID.randomUUID().toString(),
                type,
                Instant.now(),
                1,
                aggregateId,
                data);
    }
}

@Service
public class OrderEventProducer {
    private static final Logger log = LoggerFactory.getLogger(OrderEventProducer.class);
    private static final String TOPIC = "order.events";

    private final KafkaTemplate<String, Object> kafkaTemplate;

    public OrderEventProducer(KafkaTemplate<String, Object> kafkaTemplate) {
        this.kafkaTemplate = kafkaTemplate;
    }

    public CompletableFuture<SendResult<String, Object>> publish(OrderCreated order) {
        EventEnvelope<OrderCreated> event =
                EventEnvelope.of("order.created", order.orderId(), order);

        // 使用订单号作为 key,保证同一订单的事件进入同一分区。
        CompletableFuture<SendResult<String, Object>> future =
                kafkaTemplate.send(TOPIC, order.orderId(), event);

        // send 返回只代表提交发送,真正的 Broker 确认要看 future 的完成结果。
        future.whenComplete((result, error) -> {
            if (error != null) {
                log.error("order event send failed, eventId={}", event.eventId(), error);
                return;
            }
            log.info("order event sent, eventId={}, partition={}, offset={}",
                    event.eventId(),
                    result.getRecordMetadata().partition(),
                    result.getRecordMetadata().offset());
        });
        return future;
    }
}

Spring Kafka 生产端发送链路

验证 Broker 已经接收消息

启动应用并让业务代码调用一次 publish 后,可用 Kafka 自带消费者直接读取主题中的一条消息。命令中的实际脚本路径可能因安装方式不同而变化。

bash
kafka-console-consumer.sh \
  --bootstrap-server localhost:9092 \
  --topic order.events \
  --from-beginning \
  --max-messages 1

预期输出

text
{"eventId":"<ID>","eventType":"order.created","occurredAt":"<TIME>","schemaVersion":1,"aggregateId":"<ID>","data":{"orderId":"<ID>","amount":199.00}}
Processed a total of 1 messages

<ID>、<TIME> 等值由运行时产生,实际内容会不同。若应用日志已经出现 partition 和 offset,同时控制台能读到事件信封,就说明序列化、发送和 Broker 确认链路都已贯通。

幂等生产不能替代业务去重

Kafka Producer 的幂等性主要解决“同一个 Producer 会话中,因为可重试错误而重复发送同一批记录”的问题,并不能阻止应用主动调用两次 publish。因此 eventId 仍应作为业务级事件标识,消费端可以据此做去重或审计。

异步回调也不等于数据库事务。如果订单落库成功但 Kafka 发送最终失败会造成状态不一致,需要更强一致性时应采用事务消息或 Outbox 等模式,而不是仅靠 KafkaTemplate.send() 的成功回调。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

集成 Spring Kafka 生产端

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通