消息队列 / 系统课时

三个超时怎么区分

三个超时怎么区分

这一课把 Kafka Producer 最容易混淆的三个等待时间拆开:request.timeout.ms 面向一次 Broker 请求,delivery.timeout.ms 面向一条记录的最终投递结果,业务线程等待时间则属于应用代码。三者控制的是不同边界,不能互相替代。

学习目标

  • 能准确说明三个超时各自开始、结束的位置。
  • 能判断为什么 request.timeout.ms 到期不代表整条消息立即失败。
  • 能根据业务 SLA 合理设置 Producer 配置与业务线程等待上限。

三个超时分别管什么

可以先用三个问题记忆:一次请求最多等多久?一条记录最多投递多久?业务线程最多等多久?

超时 控制对象 主要职责 到期后的含义
request.timeout.ms 单次发送请求 等待 Broker 响应 当前请求可能失败并触发后续重试
delivery.timeout.ms 单条 Producer Record 限制从 send() 返回后到最终成功/失败的总体时间 超过边界后不再继续等待该记录成功
业务线程等待时间 应用线程 控制业务调用方愿意阻塞多久 线程停止等待,但后台 Producer 与记录状态仍需按应用设计处理

Kafka Producer 文档明确区分了前两者:request.timeout.ms 控制客户端等待一个请求响应的时间,而 delivery.timeout.ms 是单条记录报告成功或失败的总体上限,并包含等待确认及可重试失败占用的时间。

request.timeout.ms 是一次请求的边界

假设 Producer 发出一次 Produce Request,设置 request.timeout.ms=30000。这表示客户端最多等待约 30 秒来获得该请求的响应;如果响应没有及时回来,而错误仍可重试,Producer 可以再次发送,而不是因为一次请求超时就立即放弃整条记录。

因此,看到一次请求超时日志时,不应直接得出“消息发送失败”的结论。还要继续看该记录是否在 delivery.timeout.ms 之前成功完成。

delivery.timeout.ms 是整条记录的总边界

delivery.timeout.ms 更接近业务真正关心的“这条消息什么时候算最终失败”。它约束的是 Producer 从 send() 返回之后,到记录最终成功或失败之间的总体投递时间;可重试的请求失败会消耗这段预算。

这意味着即使单次请求只允许等待 30 秒,整条记录仍可能经历多次请求尝试,只要总体投递时限还没有耗尽。反过来,如果总体投递时限先到,Producer 会让记录失败,即使 retries 的理论次数还没有用完。

业务线程等待是应用自己的 SLA

应用经常会写出类似 producer.send(record).get(10, TimeUnit.SECONDS) 的代码。这个 10 秒是业务线程自己愿意等待的时间,并不是 Kafka 把消息判定为失败的时间。

因此可能出现一种重要情况:业务线程 10 秒后停止等待,但 Producer 仍可能在自己的投递生命周期内继续处理这条记录。应用如果在捕获线程超时后立即执行“补发一条”逻辑,就可能人为制造重复。

下面用一个最小示例说明三层时间边界如何同时存在。

java
import org.apache.kafka.clients.producer.KafkaProducer;
import org.apache.kafka.clients.producer.ProducerRecord;
import java.util.Properties;
import java.util.concurrent.TimeUnit;
import java.util.concurrent.TimeoutException;

public class ProducerTimeoutDemo {
    public static void main(String[] args) throws Exception {
        Properties props = new Properties();
        props.put("bootstrap.servers", "localhost:<PORT>");
        props.put("enable.idempotence", "true");
        props.put("request.timeout.ms", "30000");
        props.put("delivery.timeout.ms", "120000");

        try (KafkaProducer<String, String> producer = new KafkaProducer<>(props)) {
            ProducerRecord<String, String> record =
                    new ProducerRecord<>("orders", "<ID>", "created");

            try {
                // 这里只限制业务线程愿意等待结果的时间。
                producer.send(record).get(10, TimeUnit.SECONDS);
                System.out.println("send completed");
            } catch (TimeoutException e) {
                System.out.println("business wait timeout: 10s");
            }
        }
    }
}

预期结果

text
send completed

在正常可用的 Kafka 环境中,业务线程会在 10 秒内拿到发送结果并打印 send completed。若业务线程等待超过 10 秒仍未得到结果,则打印 business wait timeout: 10s;这只能说明这次业务等待窗口结束了,不能仅凭这一点断言 delivery.timeout.ms 已经耗尽。

怎么设置才不互相打架

配置时先确定业务 SLA,再向下分解。业务线程等待时间不能简单地等于 request.timeout.ms,否则一次网络抖动就可能让业务调用提前失败;同时,delivery.timeout.ms 又必须覆盖合理的批处理、请求等待和重试空间。

一个实用关系是:业务线程等待上限决定调用方何时停止等待,request.timeout.ms 决定单次请求何时重新评估,delivery.timeout.ms 决定 Producer 何时最终放弃该记录。三者分别属于应用层、请求层、投递层。

真正做超时治理时,最重要的不是把三个数值设置成一样,而是让每个时间边界都对应一个明确的失败语义:线程何时停止等待、单次请求何时重试、整条记录何时最终失败。

按自己的节奏,确认真正理解。

目录与阅读设置

记录一个想法

三个超时怎么区分

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通