消息队列 / 系统课时

一次发送什么时候算成功

一次发送什么时候算成功

本篇解决 Kafka Producer 中“成功”定义混淆的问题:send 返回、异步结果完成、Broker 应答与业务操作完成处于不同层级。读完后,你能明确每个成功信号代表什么,并选择合适的确认方式。

学习目标

  • 区分 send 返回、Future/Callback 完成和 Broker 应答
  • 理解 Producer 成功与业务成功之间的边界
  • 根据业务语义选择异步确认或等待确认

四种不同的成功语义

调用 producer.send(record) 会立即返回一个 Future。这个返回动作只表示客户端已经接受这次发送并交给 Producer 处理,不代表 Broker 已经成功写入。

当 Callback 被调用或 Future 完成时,Producer 已经拿到了这次发送请求的结果。若拿到 RecordMetadata,表示这次请求收到了成功的 Broker 应答;若 Future 以异常结束,则应结合异常类型判断失败原因,例如超时、不可重试错误或配置问题。

即使 Broker 返回成功,也不能直接推导出“业务操作整体成功”。例如订单创建同时涉及数据库写入和 Kafka 发送,数据库事务是否提交、业务状态是否落库,仍需要由事务、可靠事件或补偿机制定义。

Kafka Producer 不同成功语义的时序关系

主示例:异步发送与 Broker 确认

下面只发送一次消息,同时注册 Callback 并保存 Future。两者观察的是同一次发送结果:Callback 适合异步处理,Future 适合调用方确实需要等待发送结果的场景。

java
import java.util.Properties;
import java.util.concurrent.Future;
import org.apache.kafka.clients.producer.KafkaProducer;
import org.apache.kafka.clients.producer.ProducerRecord;
import org.apache.kafka.clients.producer.RecordMetadata;
import org.apache.kafka.common.serialization.StringSerializer;

public class ProducerSuccessSemanticsDemo {
    public static void main(String[] args) throws Exception {
        Properties props = new Properties();
        props.put("bootstrap.servers", "<HOST>:<PORT>");
        props.put("key.serializer", StringSerializer.class.getName());
        props.put("value.serializer", StringSerializer.class.getName());

        try (KafkaProducer<String, String> producer = new KafkaProducer<>(props)) {
            ProducerRecord<String, String> record =
                    new ProducerRecord<>("orders", "order-<ID>", "created");

            // Callback 与 Future 对应同一次 send,不会产生两次消息。
            Future<RecordMetadata> future = producer.send(record, (metadata, exception) -> {
                if (exception != null) {
                    System.err.println("broker confirmation failed: "
                            + exception.getClass().getSimpleName());
                    return;
                }
                System.out.printf("broker confirmed topic=%s partition=%d offset=%d%n",
                        metadata.topic(), metadata.partition(), metadata.offset());
            });

            // 只有业务明确需要同步确认时才阻塞等待结果。
            RecordMetadata metadata = future.get();
            System.out.printf("confirmed offset=%d%n", metadata.offset());
        }
    }
}

预期输出:

text
broker confirmed topic=orders partition=<PARTITION> offset=<OFFSET>
confirmed offset=<OFFSET>

其中 <HOST>、<PORT>、<ID>、<PARTITION> 和 <OFFSET> 都是运行时值,实际结果可能不同。若发送失败,Callback 会进入异常分支,future.get() 也会因该次发送失败而抛出对应异常,而不是返回正常的 RecordMetadata。

Broker 成功为什么仍不是业务成功

Producer 收到 Broker 成功应答,只能说明这次 Kafka 发送在当前 Producer 配置和请求语义下获得了成功结果。它不能证明数据库事务已经提交,也不能证明下游消费者已经处理完成。

因此,不要把“Future 正常返回”直接写成“订单创建成功”。应先定义业务事实的成功边界,再决定 Kafka 确认如何参与这个边界。例如,数据库提交可以作为业务事实,而可靠事件表、事务消息或补偿机制负责衔接数据库状态与消息投递。

什么时候应该等待结果

如果接口返回前必须确认消息已获得 Kafka 的成功发送结果,可以等待 Future,但需要把等待时间纳入请求超时预算,并正确传播发送异常。

如果业务允许异步处理,更适合使用 Callback 等异步结果机制,把失败交给重试、告警或补偿流程。无论采用哪种方式,都不要把“send 返回了 Future”当成最终成功。

判断一次发送是否成功,关键不是寻找唯一的“成功时刻”,而是先明确当前讨论的是客户端接受、Broker 应答,还是整个业务操作完成,再让代码围绕这个边界做确认。

按自己的节奏,确认真正理解。

目录与阅读设置

记录一个想法

一次发送什么时候算成功

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通