Redis 与缓存 / 系统课时
使用 XREADGROUP 消费
使用 XREADGROUP 消费
本课解决消费组读取时最容易混淆的两个问题:如何领取尚未投递的新消息,以及如何重新读取已经进入 Pending Entries List(PEL)的待确认消息。完成后,你能根据消息状态选择正确的读取起点,并理解 consumer 与 PEL 的归属关系。
学习目标
- 能使用
XREADGROUP领取消费组中的新消息 - 能准确区分
>与0等非>ID 的读取语义 - 能说明当前 consumer、PEL 与
XACK之间的关系
XREADGROUP 的两类读取语义
XREADGROUP 通过 GROUP <group> <consumer> 指定消费组和当前 consumer,再在 STREAMS 后为 Stream 指定读取 ID。最常用的 > 表示:只返回从未投递给该 group 中任何 consumer 的新消息,并把本次读到的消息记到当前 consumer 名下的 PEL 条目中。
非 > ID 的语义完全不同。此时 XREADGROUP 不会从整个 Stream 重放,也不会读取整个 group 的 Pending;它只读取当前 consumer 自己已经被投递、但尚未确认的 PEL 条目,并返回 ID 大于所给起点的记录。因此使用 0,本质上是从当前 consumer 自己的 Pending 历史起点开始读取,而不是查看其他 consumer 的 Pending。

两个 consumer 如何分工
下面在空白测试环境中创建一个 Stream 和消费组,再让两个 consumer 依次领取新消息。> 不会把同一条新消息复制给组内每个 consumer;谁发起读取,谁就领取当次尚未投递的消息。
redis-cli --raw DEL orders
redis-cli --raw XGROUP CREATE orders order-workers 0 MKSTREAM
redis-cli --raw XADD orders 1-0 order_id 1001 status CREATED
redis-cli --raw XADD orders 2-0 order_id 1002 status CREATED
redis-cli --raw XREADGROUP GROUP order-workers worker-a COUNT 1 STREAMS orders '>'
redis-cli --raw XREADGROUP GROUP order-workers worker-b COUNT 1 STREAMS orders '>'预期输出:
<VALUE>
OK
1-0
2-0
orders
1-0
order_id
1001
status
CREATED
orders
2-0
order_id
1002
status
CREATED<VALUE> 是删除旧键的返回值,通常为 0 或 1。两次读取后,1-0 属于 worker-a 的待确认集合,2-0 属于 worker-b 的待确认集合。消费组并不保证 consumer 间自动公平轮转,实际分工取决于各 consumer 发起读取的时机、批量大小和处理速度。
读取当前 consumer 的 Pending
继续使用同一组数据,用 0 分别读取两个 consumer 自己的待确认消息:
redis-cli --raw XREADGROUP GROUP order-workers worker-a COUNT 10 STREAMS orders 0
redis-cli --raw XREADGROUP GROUP order-workers worker-b COUNT 10 STREAMS orders 0预期输出:
orders
1-0
order_id
1001
status
CREATED
orders
2-0
order_id
1002
status
CREATED这里的关键约束是:使用 0 等非 > ID 时,读取范围只包含命令中所指定的当前 consumer 自己的 PEL。因此 worker-a 只能读到分配给 worker-a 的 1-0,不能直接读到 worker-b 的 2-0;反过来也一样。即使 2-0 同样处于 order-workers 这个 group 的 Pending 中,也不会因为使用 0 而被 worker-a 返回。
若某个 consumer 已失效,需要把它的 Pending 转交给其他 consumer,应使用 XCLAIM 或 XAUTOCLAIM 完成所有权转移,而不是依赖 XREADGROUP ... 0 跨 consumer 读取。
处理完成后再确认
消息被 XREADGROUP 投递后会留在该 group 的 PEL 中,直到执行 XACK。通常应在业务处理成功后再确认,这样进程若在处理中崩溃,未确认消息仍可恢复。
redis-cli --raw XACK orders order-workers 1-0 2-0预期输出:
2返回 2 表示这两个 ID 都从 order-workers 的 Pending 中成功移除。判断读取方式时,先看消息是否已经向 group 投递:未投递的新消息用 >;已投递但未确认的历史消息,则用非 > ID 读取当前 consumer 自己的 PEL,必要时再通过 claim 机制转移所有权。