架构与系统设计 / 系统课时

用死信与重试队列隔离坏消息

用死信与重试队列隔离坏消息

本节要把一条处理失败的消息快速从主消费链路中移开,并根据错误是否可恢复决定延迟重试还是进入死信。最终你会得到一套有次数上限、可观察、可人工处置且不会让坏消息反复阻塞正常流量的路由规则。

学习目标

  • 区分可恢复错误、永久失败与未知错误,决定重试还是死信。
  • 设计主队列、延迟重试队列和死信队列之间的消息流。
  • 为重试次数、延迟、死信处置和重新投递建立安全边界。

先按失败性质分流

消费失败后最危险的做法,是不区分原因地立即重试。数据库短暂超时、下游返回 503 这类错误通常可以恢复;字段缺失、签名无效、业务规则明确拒绝则不会因为等待几秒就变好。前者进入重试链路,后者应尽快进入死信。

无法确认性质的错误可以先按“有限重试”处理,但必须有次数上限。这样既给瞬时故障恢复机会,也不会让未知坏消息永久占用消费者。

把主链路与失败链路拆开

主队列只承载当前可处理的消息。可恢复失败发布到延迟重试队列,延迟到期后再回到消费入口;达到次数上限或确认永久失败时进入死信队列。消费者不要在主队列里长时间 sleep,否则一个坏消息会占住并发槽位并拖慢正常流量。

主队列、延迟重试队列与死信队列的数据流

从主队列转移到重试队列时,先确认新消息已经可靠写入,再确认原消息。若中间存在崩溃窗口,就可能丢失或重复,因此生产实现要结合消息系统的事务、发布确认或等价机制,并让消费端保持幂等。

把路由规则写成可验证逻辑

下面的可运行示例用三种错误模拟路由决策:瞬时错误在第三次成功,格式错误直接死信,持续故障在达到上限后死信。真实系统会把 RETRY 对应为发布到延迟队列,把 DLQ 对应为发布到死信队列。

python
class RetryableError(Exception):
    pass

class PermanentError(Exception):
    pass

MAX_ATTEMPTS = 3

def consume(kind: str, attempt: int) -> None:
    if kind == "bad-schema":
        raise PermanentError("schema mismatch")
    if kind == "always-fail":
        raise RetryableError("dependency unavailable")
    if kind == "transient" and attempt < 3:
        raise RetryableError("temporary timeout")

def run(kind: str) -> None:
    attempt = 1
    while True:
        try:
            consume(kind, attempt)
            print(f"{kind}: ACK at attempt {attempt}")
            return
        except PermanentError as exc:
            print(f"{kind}: DLQ ({exc})")
            return
        except RetryableError as exc:
            if attempt >= MAX_ATTEMPTS:
                print(f"{kind}: DLQ after {attempt} attempts ({exc})")
                return

            delay_s = 2 ** (attempt - 1)
            print(f"{kind}: RETRY in {delay_s}s ({exc})")
            attempt += 1

for message_kind in ("transient", "bad-schema", "always-fail"):
    run(message_kind)

预期输出

text
transient: RETRY in 1s (temporary timeout)
transient: RETRY in 2s (temporary timeout)
transient: ACK at attempt 3
bad-schema: DLQ (schema mismatch)
always-fail: RETRY in 1s (dependency unavailable)
always-fail: RETRY in 2s (dependency unavailable)
always-fail: DLQ after 3 attempts (dependency unavailable)

实际的延迟可以使用分级队列,例如 5 秒、30 秒、5 分钟,也可以由调度能力直接指定下一次可见时间。无论实现方式如何,都要在消息元数据中保存 attempt、首次失败时间、最近错误和原始消息标识,避免重试历史丢失。

让死信队列可处置而不是只堆积

死信队列需要监控积压量、进入速率和主要错误原因,并为人工或自动处置保留足够上下文。至少要能回答:这条消息来自哪里、失败了几次、最后一次为什么失败、修复后是否允许重新投递。

重新投递死信前,应先修复根因并确认消费者仍具幂等性。不要配置“DLQ 自动无限回主队列”的闭环,否则只是把永久失败重新包装成重试风暴。一个可靠的终点是:正常消息持续前进,可恢复故障有限重试,永久失败被隔离且能够被观察、修复和审计。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

用死信与重试队列隔离坏消息

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通