消息队列 / 系统课时
重试 Topic 与死信 Topic
重试 Topic 与死信 Topic
消费失败不能只靠无限重试,否则一个持续失败的事件可能长期占用消费者线程并拖慢正常流量。本节设计“主 Topic → 分级重试 Topic → 死信 Topic”的完整失败路径,用退避时间和最大次数控制自动恢复范围,再为无法自动恢复的消息保留人工补偿入口。
学习目标
- 设计多级重试 Topic,并为不同失败次数设置退避间隔
- 在消息头或信封字段中保存重试次数、原始位置和错误信息
- 为超过最大重试次数的消息建立死信记录、告警与人工补偿流程
把立即重试改成分级退避
数据库瞬时超时、下游限流或网络抖动通常值得重试,但立刻连续重试会在故障期间制造更高压力。更稳妥的模型是把失败消息转移到不同级别的重试 Topic,例如等待约 10 秒、1 分钟和 10 分钟后再次尝试。

Topic 可以按系统实际规模调整,但名字应明确表达用途。下面示例创建三级重试 Topic 和一个死信 Topic;生产环境应根据吞吐量、副本策略和 Broker 数量调整参数。
kafka-topics.sh --bootstrap-server localhost:<PORT> --create --topic payment-events-retry-10s --partitions 6 --replication-factor 1
kafka-topics.sh --bootstrap-server localhost:<PORT> --create --topic payment-events-retry-1m --partitions 6 --replication-factor 1
kafka-topics.sh --bootstrap-server localhost:<PORT> --create --topic payment-events-retry-10m --partitions 6 --replication-factor 1
kafka-topics.sh --bootstrap-server localhost:<PORT> --create --topic payment-events-dlq --partitions 6 --replication-factor 1预期输出
Created topic payment-events-retry-10s.
Created topic payment-events-retry-1m.
Created topic payment-events-retry-10m.
Created topic payment-events-dlq.不同 Kafka 版本的输出文字可能略有差异,实际 <PORT> 也应替换为集群监听端口。生产环境通常还需要提高副本因子,而不是直接沿用示例中的 1。
重试消息必须带完整上下文
消息进入重试 Topic 后,不能只保留原始业务载荷。至少还要记录当前重试次数、首次失败时间、最近错误类型、原始 Topic、Partition 和 Offset。这样才能判断是否超过最大次数,也能在死信处理时定位原始事件。
如果团队已经统一使用消息信封,可以把这些信息放入信封字段;若不希望改变业务 Payload,也可以使用 Kafka Headers。无论采用哪种方式,都应避免只保存异常文本,因为单独一行错误信息通常不足以完成后续重放和审计。
重试次数必须由消费者明确递增,并设置硬上限。例如三级退避后仍失败,就进入 DLQ,而不是重新回到第一级形成无限循环。对于参数错误、数据格式错误、业务状态非法等确定性故障,通常还应直接进入死信流程,避免无意义地等待多轮。
退避时间与消费方式要匹配
Kafka 本身不会因为 Topic 名为 retry-10m 就自动延迟十分钟。应用必须实现“到期后再处理”的机制。常见方案是在消息中记录下一次可执行时间,重试消费者读取后判断是否到期;如果尚未到期,可以暂停对应 Partition,等待后再恢复。
不要用长时间阻塞线程的 sleep 作为通用延迟队列实现。大量延迟消息会占住消费线程,还可能影响心跳、再均衡和同分区其他消息。若系统存在大量不同延迟时间,应该评估独立调度服务或专门延迟队列,而不是无限增加 Retry Topic。
死信 Topic 是待处理队列而不是垃圾桶
DLQ 中的消息表示自动恢复流程已经结束,但业务问题并没有消失。死信记录至少应保留原始消息、原始位置、业务键、总重试次数、最终错误、失败时间和消费者版本;其中可能包含敏感业务数据时,还必须遵守访问控制和保留期限。
进入 DLQ 后应触发可观察的告警,例如单位时间新增死信数、某错误类型突增或同一业务键持续失败。人工处理时先识别根因,再决定修复数据、修复程序或补齐外部依赖,不能把“重新发送”当成固定操作。
补偿前先确认能否安全重放
人工修复完成后,应从 DLQ 选择明确的消息重新投递到主 Topic 或专门的补偿 Topic,并生成新的处理记录。重放前要确认消费者幂等键仍然有效,避免原业务动作已经部分成功时再次扣款、发货或发券。

一个成熟的失败处理链路应把“自动重试”和“人工补偿”明确分开:可恢复的短暂故障通过有限次数和递增退避自动消化,确定性错误或超过最大次数的消息进入 DLQ;DLQ 再通过告警、根因修复、幂等检查和可审计重放完成闭环。这样既不会让单条坏消息无限阻塞主消费,也不会把真正需要处理的问题悄悄丢掉。