Redis 与缓存 / 系统课时

实现可靠消息处理

实现可靠消息处理

本课使用 Redis Stream 消费者组构建可靠消息处理流程。完成后,你能创建消费组、读取新消息、显式确认成功消息,并通过待处理列表发现未确认任务后重新认领。

学习目标

  • 使用消费者组分发并确认 Stream 消息
  • 理解 Pending Entries List 中未确认消息的含义
  • 使用重新认领机制处理消费者宕机与消息重试

建立消息生命周期

生产者通过 XADD 写入 Stream,消费者使用 XREADGROUP 领取消息。领取后消息进入 Pending Entries List,只有业务处理成功并执行 XACK,该消息才从待处理列表移除;XACK 不会删除 Stream 中的消息本体。

Redis Stream 可靠消息生命周期

运行消费者组示例

下面的 Bash 脚本创建 Stream 和消费组,写入两条消息,让 consumer-1 领取第一条但不确认,再由 consumer-2 重新认领并确认,最后消费和确认第二条。前置条件是本机可执行 redis-cli,Redis 版本支持 XAUTOCLAIM。

bash
set -e

STREAM="prod:stream:order-events:v1"
GROUP="order-workers"

redis-cli DEL "$STREAM" >/dev/null
redis-cli XGROUP CREATE "$STREAM" "$GROUP" 0 MKSTREAM >/dev/null

ID1=$(redis-cli --raw XADD "$STREAM" "*" type paid orderId O1001)
ID2=$(redis-cli --raw XADD "$STREAM" "*" type paid orderId O1002)

echo "created: $ID1 $ID2"

redis-cli --raw XREADGROUP GROUP "$GROUP" consumer-1 COUNT 1 STREAMS "$STREAM" ">" >/dev/null
echo "pending-after-consumer-1: $(redis-cli --raw XPENDING "$STREAM" "$GROUP" | head -n 1)"

redis-cli --raw XAUTOCLAIM "$STREAM" "$GROUP" consumer-2 0 0-0 COUNT 10 >/dev/null
redis-cli XACK "$STREAM" "$GROUP" "$ID1" >/dev/null

redis-cli --raw XREADGROUP GROUP "$GROUP" consumer-2 COUNT 1 STREAMS "$STREAM" ">" >/dev/null
redis-cli XACK "$STREAM" "$GROUP" "$ID2" >/dev/null

echo "pending-final: $(redis-cli --raw XPENDING "$STREAM" "$GROUP" | head -n 1)"

预期输出

text
created: <ID1> <ID2>
pending-after-consumer-1: 1
pending-final: 0

<ID1> 和 <ID2> 是 Redis 自动生成的消息 ID,实际值类似 1750000000000-0。脚本把最小空闲时间设为 0,只用于演示立即认领;生产环境应设置合理超时,避免仍在处理的消息被重复领取。

正确安排确认与重试

必须在数据库事务或外部调用成功后执行 XACK,不能在开始处理时提前确认。消费者组提供的是至少一次处理语义,消息可能因超时认领或客户端重试被重复执行,因此业务处理必须幂等。

Stream 不会自动限制重试次数。消费者可通过消息字段、独立 Hash 或业务表记录重试计数、最后错误和下一次重试时间;超过阈值后写入死信 Stream,再确认原消息,避免坏消息无限重试。

监控积压与待处理消息

尚未领取的新消息可通过消费组 lag 观察,已领取但未确认的任务通过 XPENDING 检查。两者分别对应扩容消费能力和修复失败任务,不能混为同一种积压。

消费者关闭前应停止领取新消息并等待当前任务结束。服务异常退出后,其他消费者定期执行 XAUTOCLAIM,只认领超过最小空闲时间的消息。

控制 Stream 长度

生产者可使用近似裁剪限制历史长度,例如保留最近若干万条,但裁剪前必须确认业务不依赖长期回放。可靠性要求高的事件仍应落入数据库或专业消息系统,Redis Stream 更适合轻量任务流和内部异步处理。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

实现可靠消息处理

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通