Java 后端 / 系统课时
处理重试与死信消息
处理重试与死信消息
本课解决消费者遇到临时故障或永久坏消息时如何继续稳定运行。你将完成异常分类、指数退避、死信路由和人工补偿闭环,避免无限重试拖垮分区,也避免失败消息无痕丢失。
学习目标
- 区分值得重试的瞬时异常与应立即隔离的业务异常
- 使用 Spring Kafka 配置指数退避和死信主题
- 建立可审计、可回放、可验证的人工补偿流程
先分类失败而不是一律重试
重试只适合短时间内可能恢复的问题,例如数据库连接抖动、下游接口超时或临时限流。参数缺失、业务状态非法、反序列化失败等确定性问题,重复执行通常仍会失败,应尽快进入死信链路。
重试次数不能只看“成功率”,还要考虑消费者线程被占用的时间。退避过短会放大下游压力,退避过长则阻塞当前分区。生产环境通常设置有限次数、逐步延长等待时间,并为不可重试异常建立明确名单。
配置指数退避与死信路由
下面是依赖现有 Spring Boot Kafka 生产者与消费者配置的片段示例。原消息连续失败后会按 1 秒、2 秒、4 秒退避重试,三次重试仍失败时发布到同分区的 <原主题>.DLT。IllegalArgumentException 被视为确定性错误,不进入重试。
package com.example.order.messaging;
import org.apache.kafka.common.TopicPartition;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;
import org.springframework.kafka.core.KafkaTemplate;
import org.springframework.kafka.listener.CommonErrorHandler;
import org.springframework.kafka.listener.DeadLetterPublishingRecoverer;
import org.springframework.kafka.listener.DefaultErrorHandler;
import org.springframework.kafka.support.ExponentialBackOffWithMaxRetries;
@Configuration
public class KafkaRetryConfiguration {
@Bean
CommonErrorHandler kafkaErrorHandler(KafkaTemplate<Object, Object> template) {
var recoverer = new DeadLetterPublishingRecoverer(
template,
(record, exception) ->
new TopicPartition(record.topic() + ".DLT", record.partition())
);
// 最多重试三次,避免坏消息长期占住消费分区
var backOff = new ExponentialBackOffWithMaxRetries(3);
backOff.setInitialInterval(1_000L);
backOff.setMultiplier(2.0);
backOff.setMaxInterval(4_000L);
var handler = new DefaultErrorHandler(recoverer, backOff);
handler.addNotRetryableExceptions(IllegalArgumentException.class);
return handler;
}
}生效行为:首次消费失败后最多再尝试三次;重试耗尽或命中不可重试异常时,恢复器把原记录及失败信息发送到死信主题。Spring Kafka 官方参考也将 DefaultErrorHandler 与 DeadLetterPublishingRecoverer 作为重试耗尽后的恢复组合。:contentReference[oaicite:0]{index=0}
由于路由代码保留原分区号,应提前创建分区数不少于源主题的死信主题。若由平台自动建主题,也要在上线前确认分区数、副本数和保留期符合故障审计要求。
设计死信与人工补偿闭环
死信主题不是垃圾桶,而是待处理队列。死信消费者应保存原主题、分区、位点、业务唯一键、异常类型、失败时间和处理状态,但不要自动再次调用原业务逻辑,否则可能形成“死信再次死信”的循环。

人工补偿应遵循“先修复原因,再回放消息”。回放时写入新的操作批次号,保留原始消息不变,并限制单批数量。补偿成功后更新处理人、处理时间和结果;无法自动确认的业务必须进入人工复核,不能仅凭消息已被消费就判定完成。
验证失败链路
准备一条必然触发异常的测试消息,等待重试耗尽后,通过 Kafka 自带消费者读取死信主题。<PATH>、<HOST>、<PORT> 的实际值按本机安装和环境替换。
<PATH>/bin/kafka-console-consumer.sh \
--bootstrap-server <HOST>:<PORT> \
--topic orders.DLT \
--from-beginning \
--max-messages 1预期输出
{"eventId":"evt-1001","orderId":1001,"simulateFailure":true}若没有读到消息,依次检查错误处理器是否被监听器容器使用、死信主题是否存在、生产者是否有写权限,以及死信主题是否包含目标分区。验证完成后还要确认源主题消费位点已越过失败记录,后续正常消息能够继续处理。