消息队列 / 系统课时

排查事务超时中断

排查事务超时中断

本课解决 Kafka 事务运行过久后被 broker 终止的问题。通过事务时间线、客户端与 broker 超时边界、Producer 异常及消费者可见性,判断是否真的发生事务超时,并选择安全的恢复方式。

学习目标

  • 能区分事务超时、单次请求超时与 Producer fencing
  • 能核对 transaction.timeout.ms 与 transaction.max.timeout.ms,建立完整证据链
  • 能在提交结果未知或 Producer 已失效时,避免错误复用事务状态

先确认“超时”发生在哪里

Kafka 事务的业务时间窗口应从事务真正开始执行到提交或中止来观察。transaction.timeout.ms 描述事务协调器允许事务保持打开的时间;它不同于某一次 Produce、元数据或提交调用本身的请求等待时间。因此看到一次 TimeoutException,不能直接证明“事务超时”。

排障时固定四个时间点:事务开始、最后一次发送、提交调用、异常返回,再与 Producer 的 transaction.timeout.ms、broker 的 transaction.max.timeout.ms 对照。只有时间线、配置和最终事务状态相互印证,才能把根因收敛为事务超时。

Kafka 事务超时的判断链路

对照客户端与 Broker 的超时边界

Producer 的 transaction.timeout.ms 是事务提交给协调器的生命周期上限;broker 的 transaction.max.timeout.ms 是允许客户端声明的最大值。客户端请求的事务超时超过 broker 上限时,事务初始化阶段就可能失败,因此不能只看 Producer 配置。

排障先读取 broker 的实际配置,再确认 Producer 的实际 transaction.timeout.ms。下面先检查 broker 的事务超时上限,并创建一个单分区实验 Topic;Topic 只是为了让后续事务实验有明确的写入目标。

bash
kafka-topics.sh --bootstrap-server localhost:<PORT> --create --if-not-exists --topic tx-timeout-demo --partitions 1 --replication-factor 1
kafka-configs.sh --bootstrap-server localhost:<PORT> --entity-type brokers --entity-default --describe | grep 'transaction.max.timeout.ms'

预期结果

text
Created topic tx-timeout-demo.
transaction.max.timeout.ms=<VALUE>

<PORT> 与 <VALUE> 应替换为实际值。若 broker 动态配置中没有显式覆盖,还要结合集群实际配置来源判断最终生效值,不能只凭命令无输出就认定 broker 使用了某个默认值。

事务协调器负责维护 transactional.id 对应的事务状态;线上排障通常通过 broker 事务日志、Producer 异常和消费者可见性共同观察它,而不是把协调器当成一个可由 Producer 客户端直接读取的业务对象。也就是说,排查重点应放在“谁在协调、何时超时、最终状态是什么”,而不是寻找一个不存在的客户端状态查询 API。

用一个可控实验还原超时路径

为了让证据闭环,实验使用明确的 transactional.id 和单独 Topic,在事务中注入超过配置窗口的延迟,然后观察提交失败类型。这里不把所有异常都归为 abortTransaction():发生可中止的业务异常时才中止;fencing 或 epoch 失效时必须丢弃当前 Producer;而 commitTransaction() 已经进入结果未知状态时,不能继续执行新的业务操作来“补偿”。

java
import org.apache.kafka.clients.producer.KafkaProducer;
import org.apache.kafka.clients.producer.ProducerConfig;
import org.apache.kafka.clients.producer.ProducerRecord;
import org.apache.kafka.common.KafkaException;
import org.apache.kafka.common.errors.InvalidProducerEpochException;
import org.apache.kafka.common.errors.ProducerFencedException;
import org.apache.kafka.common.errors.TimeoutException;

import java.util.Properties;

public class KafkaTransactionTimeoutDemo {
    public static void main(String[] args) throws Exception {
        Properties props = new Properties();
        props.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG, "localhost:<PORT>");
        props.put(ProducerConfig.KEY_SERIALIZER_CLASS_CONFIG,
                "org.apache.kafka.common.serialization.StringSerializer");
        props.put(ProducerConfig.VALUE_SERIALIZER_CLASS_CONFIG,
                "org.apache.kafka.common.serialization.StringSerializer");
        props.put(ProducerConfig.TRANSACTIONAL_ID_CONFIG, "tx-timeout-demo-<ID>");
        props.put(ProducerConfig.TRANSACTION_TIMEOUT_CONFIG, 10000);

        try (KafkaProducer<String, String> producer = new KafkaProducer<>(props)) {
            producer.initTransactions();
            long startedAt = System.currentTimeMillis();

            producer.beginTransaction();
            producer.send(new ProducerRecord<>("tx-timeout-demo", "order-1", "created")).get();

            // 让事务保持打开超过 10 秒,用来观察 coordinator 超时后的提交行为。
            Thread.sleep(12000);

            long elapsedMs = System.currentTimeMillis() - startedAt;
            System.out.println("transactionElapsedMs=" + elapsedMs);

            try {
                producer.commitTransaction();
                System.out.println("transactionResult=COMMITTED");
            } catch (ProducerFencedException | InvalidProducerEpochException e) {
                System.out.println("transactionResult=FENCED_OR_EPOCH_INVALID");
                throw e;
            } catch (TimeoutException e) {
                System.out.println("transactionResult=COMMIT_RESULT_UNKNOWN");
                throw e;
            } catch (KafkaException e) {
                System.out.println("transactionResult=FAILED exception=" + e.getClass().getSimpleName());
                throw e;
            }
        }
    }
}

预期输出

text
transactionElapsedMs=<VALUE>
transactionResult=FAILED exception=<TYPE>

<VALUE> 会随机器与 broker 调度而变化;<TYPE> 也取决于 Kafka 版本及失败发生的位置,不能写死成某一个异常类。实验的关键不是得到固定异常文本,而是确认事务持续时间确实越过了配置窗口,并把提交异常、broker 事务日志和消费者结果放到同一时间线上。

根据异常类型决定恢复方式

普通业务处理异常发生在 beginTransaction() 与 commitTransaction() 之间时,可以在确认 Producer 仍处于可中止状态后调用 abortTransaction()。这条路径用于明确知道“事务应放弃”的情况,而不是一个适用于所有 RuntimeException 的兜底动作。

ProducerFencedException 表示相同 transactional.id 的新 Producer 已经接管事务身份;InvalidProducerEpochException 则表示当前 Producer 使用了失效的 epoch。两者都意味着当前事务执行者不能继续工作,应关闭当前 Producer,并检查重复部署、实例并发或身份接管。

更谨慎的是 commitTransaction() 已经发起后的 TimeoutException。它只说明调用方没有在等待窗口内拿到确认,并不证明 broker 没有完成提交。此时不要立即 abortTransaction(),也不要立刻执行一笔假定上一笔已经回滚的业务重试;应先通过 broker 事务日志和 read_committed 结果确认最终状态,再依据业务幂等键决定是否重试。

用消费者结果完成验证闭环

事务排障最终要落到“业务消费者看到了什么”。对事务 Topic 使用 read_committed 消费者,可以验证已提交事务是否可见;已中止的事务记录不会作为正常业务消息交付给该隔离级别的消费者。

bash
kafka-console-consumer.sh --bootstrap-server localhost:<PORT> --topic tx-timeout-demo --group tx-timeout-check-<ID> --isolation-level read_committed --from-beginning --timeout-ms 5000

预期结果

text
created

只有当 created 所属事务最终提交成功时,这条消息才应在该消费者结果中出现。若实验事务因超时最终中止,则这条事务消息不应通过 read_committed 交付。实际验证时还要结合 broker 日志确认事务最终状态,避免仅凭一次空消费结果下结论。

用证据收敛根因

线上故障可以按固定顺序收敛:先还原事务从开始到结束的真实耗时,再核对 transaction.timeout.ms 与 transaction.max.timeout.ms,随后结合 Producer 异常、broker 事务日志和 read_committed 结果确认最终状态。

如果三组证据都指向长事务,应优先缩短事务边界,重点检查数据库调用、远程 RPC/HTTP、人工等待和大批量计算;只有事务边界合理且业务确有需要时,才考虑提高超时配置。若证据指向 fencing、epoch 失效或提交结果未知,则按对应状态处理,不能简单归类为“网络慢”并重试。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

排查事务超时中断

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通