Redis 与缓存 / 系统课时

使用 Stream 消费者组

使用 Stream 消费者组

本课解决多个消费者如何共同处理一条 Stream,而不是各自重复读取全部消息。完成后,你可以创建消费者组、让组内消费者分工领取新消息,并在业务成功后确认处理结果。

学习目标

  • 创建消费者组并选择历史或最新起点
  • 使用 XREADGROUP 在组内分工读取
  • 使用 XACK 清除待确认状态

消费者组模型

不同消费者组各自维护消费进度;同一组内的消费者共享新消息,一条新消息通常只交付给其中一个消费者。消息交付后、确认前会记录在该组的待确认列表 PEL 中。

Redis Stream 消费者组协作图

创建消费者组

先准备三条订单消息,再从 0-0 创建组,使历史消息也进入待消费范围。

bash
DEL stream:orders
XADD stream:orders 1-0 orderId 1001
XADD stream:orders 2-0 orderId 1002
XADD stream:orders 3-0 orderId 1003
XGROUP CREATE stream:orders order-workers 0-0

预期输出:

text
(integer) <DELETED_KEY_COUNT>
"1-0"
"2-0"
"3-0"
OK

<DELETED_KEY_COUNT> 取决于执行前键是否存在。起始 ID 为 0-0 时会处理已有历史消息;使用 $ 时,只处理创建组之后新增的消息。流可能尚不存在时,可使用 XGROUP CREATE ... MKSTREAM 同时创建空 Stream。

分工读取新消息

> 表示读取尚未交付给该组的新消息。下面两个命令需要在同一组、不同消费者名称下依次执行。

bash
XREADGROUP GROUP order-workers consumer-a COUNT 2 STREAMS stream:orders >
XREADGROUP GROUP order-workers consumer-b COUNT 2 STREAMS stream:orders >

第一条命令预期输出:

text
1) 1) "stream:orders"
   2) 1) 1) "1-0"
         2) 1) "orderId"
            2) "1001"
      2) 1) "2-0"
         2) 1) "orderId"
            2) "1002"

第二条命令预期输出:

text
1) 1) "stream:orders"
   2) 1) 1) "3-0"
         2) 1) "orderId"
            2) "1003"

consumer-a 取得前两条,consumer-b 取得第三条。消费者名称应保持稳定,便于查看积压和接管任务;使用具体 ID 而不是 > 时,只会读取该消费者名下已有的待确认消息。

确认处理结果

业务处理成功后,使用消息 ID 进行确认,再查看组内剩余的 PEL 摘要。

bash
XACK stream:orders order-workers 1-0 2-0
XPENDING stream:orders order-workers

预期输出:

text
(integer) 2
1) (integer) 1
2) "3-0"
3) "3-0"
4) 1) 1) "consumer-b"
      2) "1"

XACK 只会把消息移出 PEL,不会删除 Stream 中的原始条目。必须在业务真正成功后再确认,否则失败任务无法通过 PEL 被发现和重试。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

使用 Stream 消费者组

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通