Redis 与缓存 / 系统课时

管理消费起点与游标

管理消费起点与游标

这一课解决 Redis Streams 最容易出现的读取边界问题:消费者到底从哪里开始读、下一次从哪里继续,以及怎样避免因为起点或游标推进时机错误而重复处理或跳过消息。

学习目标

  • 能区分 XREAD 的起始 ID 与消息自身的 Stream ID
  • 能理解 0、$ 与具体消息 ID 对读取范围的影响
  • 能设计连续消费时的游标推进方式并验证读取结果

起始 ID 决定读取范围

XREAD 会返回指定 ID 之后 的消息。使用 0 可以从现有历史消息的最前面开始读取;使用具体消息 ID,可以从该消息之后继续;使用 $ 则把“当前 Stream 末尾”作为本次调用的起点,只等待调用之后新增的消息。

XREAD 起始 ID 与连续消费游标关系

这里最关键的不是保存“最后看到的消息”,而是保存“最后成功处理的消息 ID”。如果业务处理失败却先推进游标,下一次读取会从失败消息之后开始,造成这条消息被自然读取路径跳过。

用具体 ID 验证连续读取

下面先写入两条消息,再从 0 读取全部历史消息,随后把第一条消息的实际 ID 作为新的起点。XADD 生成的 ID 每次不同,因此用变量保存返回值。

bash
ID1=$(redis-cli --raw XADD orders-events '*' order_id 1001 event_type created)
ID2=$(redis-cli --raw XADD orders-events '*' order_id 1002 event_type created)

redis-cli --raw XREAD COUNT 10 STREAMS orders-events 0
redis-cli --raw XREAD COUNT 10 STREAMS orders-events "$ID1"

预期输出

text
第一次读取中可看到:
orders-events
<ID-1>
order_id
1001
event_type
created
<ID-2>
order_id
1002
event_type
created

第二次读取中只会看到:
orders-events
<ID-2>
order_id
1002
event_type
created

其中 <ID-1>、<ID-2> 对应前两条 XADD 返回的实际 Stream ID。第二次读取不会再次返回 <ID-1>,因为 XREAD 的起始 ID 是排他的。

0、$ 与具体 ID 怎么选

0 适合首次扫描历史消息或明确要求从头重放;具体 ID 适合连续消费,因为它可以表示最近一次已经成功处理到的位置;$ 适合第一次进入“只等新消息”的实时读取。

因此,连续消费时应把“读取到”与“处理成功”分开:先读取消息,完成业务处理后再持久化最后成功处理的 ID;进程重启时,再从这个 ID 之后继续。

用 BLOCK 等待新消息

实时消费通常不希望不停轮询空结果。已知最后成功处理的 ID 后,可以配合 BLOCK 等待后续消息。下面假设当前游标为 <ID-2>。

bash
redis-cli XREAD BLOCK 5000 COUNT 10 STREAMS orders-events <ID-2>

预期结果

text
5000 毫秒内有新消息:返回 <ID-2> 之后的新消息及其 Stream ID
5000 毫秒内没有新消息:返回空结果

<ID-2> 需要替换为实际保存的 Stream ID。稳定的连续消费模型就是:确定首次起点,读取其后的消息,业务处理成功后再推进游标,下一次继续使用该已处理 ID。这样“从哪里开始”和“已经处理到哪里”才不会混在一起。

按自己的节奏,确认真正理解。

目录与阅读设置

记录一个想法

管理消费起点与游标

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通