Redis 与缓存 / 系统课时

设计生产者与消费者

设计生产者与消费者

这一课把订单事件压缩成一条可运行的 Redis Streams 最小链路:生产者写入 Stream,消费者读取并处理消息。跑通这条链路后,你还会明确 XREAD 的进度管理边界,以及何时需要演进到 Consumer Group。

学习目标

  • 能划分 Producer、Stream 与 Consumer 的最小职责
  • 能用 XADD 写入消息,并用 XREAD 读取和验证消息
  • 能判断单消费者链路何时需要演进为消费组

最小链路的职责划分

生产者负责把业务事件编码成必要字段并写入指定 Stream;Stream 按消息 ID 保存事件;消费者读取消息并执行处理逻辑。这样可以把事件产生与事件处理解耦,让两端独立扩缩容和演进。

订单事件可以只携带 order_id、event_type 等消费方真正需要的字段。不要默认把完整业务对象序列化进消息,否则消息体会快速膨胀,字段兼容和跨服务消费也更难治理。

Redis Streams 生产者、Stream 与消费者最小链路

跑通并验证主示例

下面假设本机 Redis 可通过默认地址连接。脚本先清理演示 Stream,再用 redis-cli XADD 写入一条订单创建事件,随后从 0-0 之后读取第一条消息。最后再次删除演示数据,便于重复执行。

bash
STREAM_KEY=orders-events-demo
redis-cli DEL "$STREAM_KEY" >/dev/null

MESSAGE_ID=$(redis-cli XADD "$STREAM_KEY" '*' order_id 1001 event_type created)
printf 'written_id=%s\n' "$MESSAGE_ID"
redis-cli --raw XREAD COUNT 1 STREAMS "$STREAM_KEY" 0-0

redis-cli DEL "$STREAM_KEY" >/dev/null

预期输出

text
written_id=<ID>
orders-events-demo
<ID>
order_id
1001
event_type
created

<ID> 是 Redis 自动生成的 Stream 消息 ID,实际值会随执行时间变化。两处 ID 应对应同一条消息;同时应能读到 order_id=1001 和 event_type=created,说明生产与读取链路已经闭环。

理解 XREAD 的进度边界

XREAD 接收一个起始 ID,并返回比该 ID 更新的消息,但 Redis 不会为普通 XREAD 调用保存某个消费者已经处理到哪里。持续消费时,客户端需要自行记录最后成功处理的消息 ID,并在下一次读取时把它作为起点。

因此,单个消费者独占处理一个 Stream 时,XREAD 足以构成简单链路;但如果多个实例都从相同起始 ID 读取,它们可能获得相同消息。此时仅增加消费者数量并不能自动实现任务分摊。

什么时候需要消费组

当多个消费者实例需要共同处理同一批消息,并希望 Redis 协调消息分配和待确认状态时,应使用 Consumer Group。消费组维护组级读取位置,并通过 Pending Entries List 记录已经投递但尚未确认的消息,消费者处理成功后再使用 XACK 确认。

因此设计时先固定三个边界:谁生产消息、消息写入哪个 Stream、谁负责处理。只有一个独占消费者时可以从 XREAD 起步;需要水平扩展、确认处理结果或恢复未完成任务时,再演进到消费组。

按自己的节奏,确认真正理解。

目录与阅读设置

记录一个想法

设计生产者与消费者

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通