Redis 与缓存 / 系统课时
设计异步任务队列
设计异步任务队列
本课把 Redis Streams 落到一个可恢复的异步任务队列:生产者只负责入流,消费组负责并行处理,失败任务进入重试路径,幂等边界阻止重复副作用,持续失败的任务最终进入隔离流。
学习目标
- 能按任务队列场景划分 Stream、消费组、PEL、重试与失败隔离的职责
- 能使用
XADD、XGROUP、XREADGROUP、XACK组织主处理流程 - 能判断哪些失败适合重试、哪些失败应立即隔离,并为业务副作用设计幂等边界
先确定队列的责任边界
一个实用的异步任务队列至少要区分五类事实:消息是否已经入流、是否已被消费者领取、业务处理是否成功、失败后是否还能重试、最终是否需要隔离。尤其不要把“消息已经读到”和“业务已经成功”视为同一状态。
推荐让生产者写入主 Stream jobs,消费组 workers 负责领取任务。组内消费者分摊新消息;已投递但尚未确认的消息留在 Pending Entries List(PEL)中,成为故障恢复和重新接管的入口。

用消费组建立可恢复的处理流程
创建消费组时,$ 表示把“当前 Stream 尾部”作为组的起点,因此通常应先创建组,再写入要由该组处理的新任务。若要让新建消费组从已有历史消息开始消费,应显式使用 0-0 或其他起始 ID。消费者读取时通过 > 获取尚未分配给组内消费者的新消息。
下面用一个最小流程演示建组、入队、消费和确认。示例假设 Redis 已运行在 <PORT> 端口,且测试用的 jobs Stream 尚不存在;实际端口可能不同。最后一条命令中的 <ID> 要替换为读取结果里的真实消息 ID。
redis-cli -p <PORT> XGROUP CREATE jobs workers '$' MKSTREAM
redis-cli -p <PORT> XADD jobs '*' task_id task-1001 action send-email
redis-cli -p <PORT> XREADGROUP GROUP workers worker-1 COUNT 1 BLOCK 1000 STREAMS jobs '>'
redis-cli -p <PORT> XACK jobs workers <ID>预期结果:
OK
<ID>
1) 1) "jobs"
2) 1) 1) "<ID>"
2) 1) "task_id"
2) "task-1001"
3) "action"
4) "send-email"
1其中两处 <ID> 代表 Redis 实际生成并返回的消息 ID。真正的消费者必须先完成业务处理,再执行 XACK;如果过早确认,业务失败后这条消息就不会再以 Pending 状态保留,恢复入口也随之丢失。
让重试与幂等形成一对边界
失败后不要无限重读同一条消息。网络抖动、临时下游不可用等瞬时故障通常值得重试;参数非法、目标资源不存在且不会恢复等确定性故障,继续重试只会放大压力。消费者异常退出时,可结合 PEL 的空闲时间和投递次数判断是否接管,Redis 6.2 及以上可用 XAUTOCLAIM 转移长期未处理的 Pending 消息。
重试记录至少要关联消息 ID、业务幂等键、失败次数和最近失败时间。幂等键应对应真实业务对象,例如订单号、任务号或外部请求 ID,而不是只依赖 Stream 消息 ID,因为同一业务任务可能被重新投递成另一条消息。
对于数据库内副作用,最好把幂等记录和业务更新放在同一个事务中;对外部服务调用,则优先使用对方支持的稳定幂等请求键。这样即使消费者崩溃后再次领取,也能识别已经完成的副作用。
设计失败隔离,而不是无限重试
当消息连续失败超过阈值,应停止让它占用正常消费通道。常见做法是把原始消息 ID、任务数据、失败原因、重试次数和失败时间写入独立 Stream,例如 jobs:dead,确认隔离记录已经写入后,再对原消息执行 XACK,避免它继续留在正常 PEL 中反复干扰其他任务。
隔离后的消息必须能够被人工分析或补偿。重新入队前应先确认根因已经修复,并依据幂等状态决定“原样重试”“修正后重试”还是“永久关闭”,而不是把死信 Stream 当作另一个无限循环队列。
用最小状态模型约束实现
业务上可以把任务理解为 queued → processing → succeeded,失败后进入 retrying,超过阈值后转为 dead。其中 processing 不等于成功,PEL 也只是 Redis 对“已投递但未确认”的事实记录;真正的业务最终状态仍应由业务存储负责。
队列设计的关键不是把所有异常都交给 Redis,而是明确三条边界:什么时候确认、什么时候重试、什么时候隔离。这三条规则稳定后,Redis Streams 才能从“能收消息”变成可恢复的异步任务执行机制。