Redis 与缓存 / 系统课时
演练消费者故障恢复
演练消费者故障恢复
本课用一条订单消息完整演练消费者异常退出、Pending 留存、消息接管与重复处理。最终要验证两件事:未确认消息能被新消费者恢复;业务状态与幂等记录在同一事务中提交后,即使进程在 XACK 前崩溃,重试也不会重复产生业务结果。
学习目标
- 能用
XPENDING判断故障消费者遗留的 Pending 消息。 - 能用
XCLAIM将达到空闲阈值的消息接管给新消费者。 - 能用事务型幂等设计验证“业务已提交但尚未
XACK”时的安全重试。
故障场景与恢复判据
消费组 orders-workers 处理 Stream orders-events。worker-a 读取消息后,只要尚未执行 XACK 就退出,无论业务尚未完成还是已经提交,该消息都会继续留在消费组的 Pending Entries List(PEL)中;使用 > 读取新消息不会自动再次拿到它。

恢复链路应验证四个状态:消息先归属 worker-a 的 PEL;达到接管条件后转给 worker-b;业务事务提交成功后再执行 XACK;最终 Pending 数量回到 0。若第一次处理已经提交业务但尚未来得及确认,第二次处理同一消息时业务结果还必须保持不变。
复现异常退出并观察 Pending
以下命令在隔离的练习环境中删除旧 Stream,以合法起始 ID 0-0 创建消费组,再写入一条订单消息。这样消费组可以读取随后写入的第一条消息;worker-a 读到后故意不确认,用来模拟消费者异常退出。
redis-cli DEL orders-events >/dev/null
redis-cli XGROUP CREATE orders-events orders-workers 0-0 MKSTREAM
redis-cli XADD orders-events '*' order_id order-100 event_type paid
redis-cli XREADGROUP GROUP orders-workers worker-a COUNT 1 STREAMS orders-events '>'
redis-cli XPENDING orders-events orders-workers - + 10预期输出
OK
<ID>
1) 1) "orders-events"
2) 1) 1) "<ID>"
2) 1) "order_id"
2) "order-100"
3) "event_type"
4) "paid"
1) 1) "<ID>"
2) "worker-a"
3) <VALUE>
4) 1<ID> 是 Redis 生成的消息 ID,<VALUE> 是不断增长的空闲毫秒数。最后一组 Pending 明细说明消息当前属于 worker-a,且已投递 1 次;不同 Redis 版本或终端的数组缩进可能略有差异,但字段含义一致。
接管故障消费者的消息
为了让演练无需等待真实超时,下面把最小空闲时间设为 0,立即把消息接管给 worker-b。生产环境应把该值设为明显高于正常处理时延的阈值,否则可能抢走仍在正常执行的消息。
redis-cli XCLAIM orders-events orders-workers worker-b 0 <ID>
redis-cli XPENDING orders-events orders-workers - + 10预期输出
1) 1) "<ID>"
2) 1) "order_id"
2) "order-100"
3) "event_type"
4) "paid"
1) 1) "<ID>"
2) "worker-b"
3) <VALUE>
4) 2接管后,PEL 中的消息所有者应变为 worker-b,投递次数通常增加到 2。此时仍不能提前确认:只有业务事务提交成功后,才能执行 XACK 并从 PEL 中移除该消息。
用数据库事务保证幂等
单独在 Redis 中先执行 SET ... NX 再更新业务数据库并不安全。如果幂等键已经写成功,而数据库事务尚未提交时进程崩溃,后续重试可能因键已存在而跳过真正的业务处理。这里改用 SQLite 模拟业务数据库,让订单状态更新与 processed_events 幂等记录在同一事务中原子提交,再把 XACK 放到事务提交之后。
下面保存为 worker.py。脚本以 Stream 消息 ID 作为 processed_events 的唯一键,并通过环境变量模拟“数据库已经提交,但进程在 XACK 前退出”的故障窗口。
import os
import sqlite3
import subprocess
import sys
STREAM = "orders-events"
GROUP = "orders-workers"
message_id = sys.argv[1]
order_id = sys.argv[2]
conn = sqlite3.connect("orders.db")
# 初始化演练数据;业务处理事务与幂等记录事务随后单独执行。
with conn:
conn.execute(
"CREATE TABLE IF NOT EXISTS orders "
"(id TEXT PRIMARY KEY, status TEXT NOT NULL)"
)
conn.execute(
"CREATE TABLE IF NOT EXISTS processed_events "
"(event_id TEXT PRIMARY KEY, order_id TEXT NOT NULL)"
)
conn.execute(
"INSERT OR IGNORE INTO orders(id, status) VALUES (?, 'created')",
(order_id,),
)
# 幂等记录与业务状态更新必须在同一事务里一起提交或一起回滚。
with conn:
inserted = conn.execute(
"INSERT OR IGNORE INTO processed_events(event_id, order_id) VALUES (?, ?)",
(message_id, order_id),
).rowcount
if inserted == 1:
conn.execute(
"UPDATE orders SET status = 'paid' WHERE id = ?",
(order_id,),
)
outcome = "processed"
else:
outcome = "duplicate-skipped"
print(outcome)
# 故障点位于事务提交之后、XACK 之前。
if os.getenv("SIMULATE_CRASH_AFTER_COMMIT") == "1":
print("simulated crash before XACK")
raise SystemExit(2)
acked = subprocess.run(
["redis-cli", "XACK", STREAM, GROUP, message_id],
check=True,
capture_output=True,
text=True,
).stdout.strip()
print(f"acked={acked}")预期结果:第一次运行若在提交后退出,数据库已经是 paid,但消息仍保留在 PEL;再次运行相同消息 ID 时,唯一键使业务更新被跳过,随后才能正常确认。
SIMULATE_CRASH_AFTER_COMMIT=1 python3 worker.py <ID> order-100 || true
redis-cli --raw XPENDING orders-events orders-workers | head -n 1
python3 worker.py <ID> order-100
redis-cli --raw XPENDING orders-events orders-workers | head -n 1
sqlite3 orders.db "SELECT id, status FROM orders; SELECT event_id, order_id FROM processed_events;"预期输出
processed
simulated crash before XACK
1
duplicate-skipped
acked=1
0
order-100|paid
<ID>|order-100这个结果覆盖了最关键的恢复窗口:第一次业务事务已提交,但 Pending 仍为 1;第二次处理相同消息时,数据库唯一键阻止重复业务更新,随后 XACK 使 Pending 归零。真实系统也应让幂等记录与核心业务状态由同一个具备原子提交能力的事务保护,而不是使用与业务数据库分离的 Redis 标记来代替事务。