Redis 与缓存 / 系统课时

处理异常消息风暴

处理异常消息风暴

本课把“单条坏消息反复失败”转化为可控的隔离链路:先判断失败是否值得重试,再限制重新投递次数,超过上限后写入死信流并确认原 Pending。这样既保护正常消费,也保留调查与人工重放所需的证据。

学习目标

  • 能区分临时失败与不可恢复的毒消息,并设置明确的重试边界
  • 能基于 Pending 投递次数判断是否继续自动重试
  • 能设计死信隔离与人工重放流程,避免异常消息持续冲击主链路

先判断失败是否值得重试

异常消息风暴通常不是单纯的“消费者太慢”,而是某类消息持续失败并被反复重新交付。下游接口短暂超时、限流等故障通常可以有限重试;字段格式永久错误、业务状态非法或依赖数据长期缺失时,继续重试只会放大压力。

判断重点不是“是否失败过”,而是“失败是否仍有恢复可能”。应用至少应保留原 Stream、消息 ID、失败原因和业务侧最终处理状态。Redis 记录的投递次数可以辅助判断,但它不等价于业务重试策略本身。

用 Pending 投递次数设置上限

XPENDING 的详细形式会返回消息 ID、当前消费者、空闲时间和投递次数。投递次数包含首次投递,因此如果策略规定“首次处理失败后最多再重新投递 3 次”,那么当 delivery count 达到 4 时,就应停止继续自动重试。

下面是片段示例:假定 orders Stream、group-orders 消费组已经存在,consumer-a 当前持有 <ID>,并且应用已判定它超过自动重试上限。先检查 Pending,再写入死信流,最后确认原消息。

bash
# 查看 consumer-a 当前持有消息的投递次数
redis-cli XPENDING orders group-orders - + 10 consumer-a

# 先保存隔离记录;成功后再从原消费组 Pending 中确认
redis-cli XADD orders-dlq '*' source_stream orders source_id "<ID>" reason "<REASON>" delivery_count 4 failed_at "<TIME>" raw_payload "<PAYLOAD>"
redis-cli XACK orders group-orders "<ID>"

预期结果

text
1) 1) "<ID_1>"
   2) "consumer-a"
   3) (integer) <IDLE_MS_1>
   4) (integer) 1
2) 1) "<ID>"
   2) "consumer-a"
   3) (integer) <IDLE_MS_2>
   4) (integer) 4
"<DLQ_ID>"
(integer) 1

<IDLE_MS_1>、<IDLE_MS_2>、<TIME>、<PAYLOAD> 和新生成的 <DLQ_ID> 会随运行而变化。delivery count 是 Redis 记录的投递次数,不等价于应用代码中的局部重试计数,因此生产环境仍应把业务状态与最终处置结果持久化。

隔离顺序要保护证据

死信流建议使用独立 Stream,例如 orders-dlq。写入时不要只复制业务字段,还应保存来源和故障上下文,如 source_stream、source_id、reason、delivery_count、failed_at 与关键业务标识;必要时保留原始载荷或足够的信息用于还原。

正确顺序是先写死信流,再执行 XACK。XACK 只会把消息从该消费组的 Pending Entries List 中移除,不会删除 orders Stream 的原始记录。不过原 Stream 之后仍可能因修剪策略删除旧消息,因此死信记录应具备足够的独立调查信息。

还要注意,XADD orders-dlq 与 XACK orders ... 是两个独立步骤。如果进程在两条命令之间崩溃,恢复后可能再次写入同一条死信记录。可以把 source_stream + source_id 作为幂等键,在应用或同一 Redis 内建立去重机制;仅把这个键写成 Stream 字段并不会自动获得唯一性约束。

让重试与死信形成受控状态流

异常消息处理可以拆成三个状态:正常消息继续主流程;可恢复失败进入受控重试;达到上限或明确不可恢复的消息进入死信流。重试必须同时限制次数、频率和并发,否则只是把风暴从消费者转移到下游服务。

异常消息从主流程进入受控重试与死信隔离的处理链路

对于需要延迟重试的场景,不要让消费者立即高频地反复处理同一消息。可以由应用维护下一次重试时间,或使用独立重试 Stream 配合调度逻辑重新投递。Redis Streams 负责消息持久化和消费组协调,退避间隔、最大次数和最终隔离条件仍由业务策略决定。

把死信流做成人工介入入口

死信流不是垃圾桶,而是可运营的调查入口。每条记录至少要能回答:原消息是什么、失败了多少次、最后一次为什么失败,以及当前是否允许重放。人工修复根因后,再把业务数据重新投递到正常 Stream,并记录操作者、重放时间和重放结果。

异常消息风暴治理的关键不是保证所有消息无限重试到成功,而是建立清晰边界:正常消息持续前进,临时失败有限重试,毒消息及时隔离,人工能够基于完整上下文决定后续动作。

按自己的节奏,确认真正理解。

目录与阅读设置

记录一个想法

处理异常消息风暴

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通