Redis 与缓存 / 系统课时

使用 XREADGROUP 消费

使用 XREADGROUP 消费

本课解决消费组读取时最容易混淆的两个问题:如何领取尚未投递的新消息,以及如何重新读取已经进入 Pending Entries List(PEL)的待确认消息。完成后,你能根据消息状态选择正确的读取起点,并理解 consumer 与 PEL 的归属关系。

学习目标

  • 能使用 XREADGROUP 领取消费组中的新消息
  • 能准确区分 > 与 0 等非 > ID 的读取语义
  • 能说明当前 consumer、PEL 与 XACK 之间的关系

XREADGROUP 的两类读取语义

XREADGROUP 通过 GROUP <group> <consumer> 指定消费组和当前 consumer,再在 STREAMS 后为 Stream 指定读取 ID。最常用的 > 表示:只返回从未投递给该 group 中任何 consumer 的新消息,并把本次读到的消息记到当前 consumer 名下的 PEL 条目中。

非 > ID 的语义完全不同。此时 XREADGROUP 不会从整个 Stream 重放,也不会读取整个 group 的 Pending;它只读取当前 consumer 自己已经被投递、但尚未确认的 PEL 条目,并返回 ID 大于所给起点的记录。因此使用 0,本质上是从当前 consumer 自己的 Pending 历史起点开始读取,而不是查看其他 consumer 的 Pending。

XREADGROUP 新消息与 Pending 消息的关系

两个 consumer 如何分工

下面在空白测试环境中创建一个 Stream 和消费组,再让两个 consumer 依次领取新消息。> 不会把同一条新消息复制给组内每个 consumer;谁发起读取,谁就领取当次尚未投递的消息。

bash
redis-cli --raw DEL orders
redis-cli --raw XGROUP CREATE orders order-workers 0 MKSTREAM
redis-cli --raw XADD orders 1-0 order_id 1001 status CREATED
redis-cli --raw XADD orders 2-0 order_id 1002 status CREATED
redis-cli --raw XREADGROUP GROUP order-workers worker-a COUNT 1 STREAMS orders '>'
redis-cli --raw XREADGROUP GROUP order-workers worker-b COUNT 1 STREAMS orders '>'

预期输出:

text
<VALUE>
OK
1-0
2-0
orders
1-0
order_id
1001
status
CREATED
orders
2-0
order_id
1002
status
CREATED

<VALUE> 是删除旧键的返回值,通常为 0 或 1。两次读取后,1-0 属于 worker-a 的待确认集合,2-0 属于 worker-b 的待确认集合。消费组并不保证 consumer 间自动公平轮转,实际分工取决于各 consumer 发起读取的时机、批量大小和处理速度。

读取当前 consumer 的 Pending

继续使用同一组数据,用 0 分别读取两个 consumer 自己的待确认消息:

bash
redis-cli --raw XREADGROUP GROUP order-workers worker-a COUNT 10 STREAMS orders 0
redis-cli --raw XREADGROUP GROUP order-workers worker-b COUNT 10 STREAMS orders 0

预期输出:

text
orders
1-0
order_id
1001
status
CREATED
orders
2-0
order_id
1002
status
CREATED

这里的关键约束是:使用 0 等非 > ID 时,读取范围只包含命令中所指定的当前 consumer 自己的 PEL。因此 worker-a 只能读到分配给 worker-a 的 1-0,不能直接读到 worker-b 的 2-0;反过来也一样。即使 2-0 同样处于 order-workers 这个 group 的 Pending 中,也不会因为使用 0 而被 worker-a 返回。

若某个 consumer 已失效,需要把它的 Pending 转交给其他 consumer,应使用 XCLAIM 或 XAUTOCLAIM 完成所有权转移,而不是依赖 XREADGROUP ... 0 跨 consumer 读取。

处理完成后再确认

消息被 XREADGROUP 投递后会留在该 group 的 PEL 中,直到执行 XACK。通常应在业务处理成功后再确认,这样进程若在处理中崩溃,未确认消息仍可恢复。

bash
redis-cli --raw XACK orders order-workers 1-0 2-0

预期输出:

text
2

返回 2 表示这两个 ID 都从 order-workers 的 Pending 中成功移除。判断读取方式时,先看消息是否已经向 group 投递:未投递的新消息用 >;已投递但未确认的历史消息,则用非 > ID 读取当前 consumer 自己的 PEL,必要时再通过 claim 机制转移所有权。

按自己的节奏,确认真正理解。

目录与阅读设置

记录一个想法

使用 XREADGROUP 消费

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通