架构与系统设计 / 系统课时

死信队列应该怎么使用

死信队列应该怎么使用

消息进入死信队列,只说明正常处理路径已经停止,并不表示业务已经完成。本篇把隔离、告警、修复、重投和验收连成可执行的处置流程,让失败消息有人负责、有据可查,而不是长期堆积后被直接清空。

学习目标

  • 区分延迟重试、失败隔离与业务处理成功。
  • 为死信设计诊断信息、告警责任和修复记录。
  • 实施保留事件身份、限制次数并核对结果的重投流程。

死信是隔离区,不是成功回执

死信队列用于隔离未能正常处理的消息,便于排查原因并决定是否重新处理。可恢复且仍有预算的故障走重试路径;明显坏消息或重试耗尽的消息进入隔离路径。进入死信不等于对应业务已经完成。([AWS 文档][6])

不要把“配置了死信”理解为“转移一定不会丢失”。例如 RabbitMQ 的死信交换机负责路由,并不是存储队列;默认死信转发与显式启用的 quorum queue 至少一次死信转发,可靠性条件不同。应验证目标、绑定关系及目标不可用时的行为。([RabbitMQ][7])

让失败样本同时带上证据和负责人

建议为每条死信建立独立的失败档案,原始事件与处置记录分开保存。以下是应用侧的设计清单,不是所有中间件都会自动提供的统一字段。

信息组 建议保留内容 解决的问题
原始事件 原始字节、事件标识、业务键、版本、必要消息头 能复现,且不篡改原始事实
失败证据 来源、消费者版本、错误分类、首次与最后失败时间、累计次数 确认失败发生在哪里
处置记录 负责人、工单、修复说明、状态、重投次数与批次 确认谁处理、处理到了哪里

无法解析事件时,也应保留原始字节并按消息系统定位信息或独立隔离记录编号追踪,不能要求“先解析成功才能进入死信”。含敏感内容的原文限制访问,告警只带必要摘要和受控查询入口。

建议对新增死信量、未处理数量、最长未处理时长和重投后再次失败率分别设告警。关键业务可在出现首条死信时通知负责人,低风险批量任务可按阈值聚合;无论怎样聚合,都应有明确响应时限和升级对象。

保留期必须覆盖发现、定位和修复窗口,但不能假定进入死信后所有系统都会重新计时。例如 SQS 标准队列消息转入死信时仍沿用原始入队时间计算到期,FIFO 队列的行为不同。应按实际产品规则计算剩余处理时间。([AWS 文档][6])

按处置状态推进修复与重投

下面的状态是建议建立的应用侧档案状态,不是消息系统自动提供的状态机。特别要把待重投、已投递、已验收分开:生成任务、消息被目标接收和业务正确完成是三个不同结果。

死信从隔离到修复、受控重投与业务验收的状态迁移

  1. 按错误分类聚合样本,分派负责人,核对消息版本、消费者版本及关联业务状态。
  2. 修复消费者、配置或依赖,并用原样本在隔离环境验证;先确认业务动作是否已经执行,避免重复生效。
  3. 审批后选择少量消息,经独立重投入口限速投递;若再次出现同类错误,停止该批次,返回排查。
  4. 核对实际业务结果后标记已验收;已过期、无须处理或必须补偿的消息,经审批记录原因后归档。

优先修复处理能力并原样重放。若需要改变金额、对象或其他业务事实,应按业务契约产生可追溯的更正事件,不能悄悄修改原事件,再借原标识绕过审计或幂等规则。

重投速度应从小值开始,根据正常流量与下游余量逐步提高,而不是一次性清空积压。SQS 的重投也支持速率控制,但其原生重投过程不支持筛选或修改消息;需要这些能力时,必须另行设计受控处理流程。([AWS 文档][8])

用代码检查重投资格

以下是完整可运行的本地演练,使用 Python 3.11 或更新版本的标准库。保存为 replay_plan.py 后运行 python replay_plan.py。场景是旧消费者不支持事件版本 2,修复消费者后保持原事件不变,生成重投计划。

python
from copy import deepcopy

def prepare_replay(record: dict, *, approved: bool,
                   ticket: str, requested_at: str) -> dict:
    # 这里只检查传入的审批结果,真实系统必须在服务端完成身份与权限校验。
    if not approved or not ticket.strip():
        raise ValueError("repair approval required")
    if record["status"] != "isolated" or record["replayCount"] >= 1:
        raise ValueError("replay not allowed")
    if record["event"]["schemaVersion"] != 2:
        raise ValueError("unsupported schema")

    # 保留原事件身份和内容;生成计划不代表已经发布消息。
    return {
        "event": deepcopy(record["event"]),
        "target": "billing.replay",
        "replayCount": record["replayCount"] + 1,
        "ticket": ticket,
        "requestedAt": requested_at,
        "state": "pending_publish",
    }

def main() -> None:
    # 模拟旧消费者不支持版本 2;修复消费者后,原事件不需要改写。
    record = {
        "event": {
            "eventId": "<ID>", "type": "OrderConfirmed",
            "schemaVersion": 2, "data": {"amountMinor": 12000},
        },
        "source": "billing.main", "consumerVersion": "billing-v1",
        "errorCode": "UNSUPPORTED_SCHEMA", "attempts": 1,
        "firstFailedAt": "<TIME>", "status": "isolated", "replayCount": 0,
    }
    try:
        prepare_replay(record, approved=False, ticket="", requested_at="<TIME>")
    except ValueError as exc:
        print(f"blocked={exc}")

    plan = prepare_replay(
        record, approved=True, ticket="<ID>", requested_at="<TIME>"
    )
    assert plan["event"] == record["event"]
    assert record["status"] == "isolated"
    print(f"eventId={plan['event']['eventId']} state={plan['state']}")
    print(f"replayCount={plan['replayCount']} original={record['status']}")

if __name__ == "__main__":
    main()

预期输出:

text
blocked=repair approval required
eventId=<ID> state=pending_publish
replayCount=1 original=isolated

<ID> 和 <TIME> 是演练占位符,生产中分别替换成对应事件或工单的真实标识、真实时间,不同字段的实际值可能不同。billing.replay 是本例约定的目标名称;程序没有创建队列,也没有实际发送消息。

第一次调用缺少修复审批,因此被拒绝;第二次只生成 pending_publish 计划,原始记录仍保持隔离。上限一次是本例的人工重投规则,不是产品默认值;再次失败的档案必须保留累计 replayCount,不能重新归零。

生产实现还需要把状态更新、唯一重投任务和审计记录放入同一数据库事务,再由发送器发布。发送器可能重复发送,因此目标消费者仍需幂等处理;单靠这个内存函数无法防止并发审批或进程崩溃造成重复任务。([AWS 文档][9])

分别验收投递结果与业务结果

应用自行搬移消息时,先确认目标路由成功并收到所需发布确认,再确认或删除源死信;发布失败或结果不明时保留可恢复记录。原始档案独立留存,直到业务结果核对完成。发布确认不代表消费者已经完成业务。([RabbitMQ][5])

重投应保留应用的 eventId 或稳定业务幂等键,不能把消息系统重新分配的传输标识当作事件身份。例如 SQS 重投会分配新的消息标识;依赖这个新标识去重,就无法识别它和原事件的关系。([AWS 文档][8])

对于严格顺序处理,不能默认移走失败事件后继续执行后续事件,再把旧事件补回就能恢复原顺序。应事先选择暂停受影响业务键、校验版本缺口或采用补偿;SQS 官方也明确提醒,死信隔离可能破坏严格顺序。([AWS 文档][6])

验收时建议故意制造两种故障:目标不可用时,原始消息和档案仍可恢复;发布成功后进程退出再重放时,业务副作用仍只发生一次。队列变空不是完成标准,能够查到每条失败事件的最终业务结果或审批处置结论,才允许关闭工单。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

死信队列应该怎么使用

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通