Redis 与缓存 / 系统课时
实现延迟任务索引
实现延迟任务索引
本课解决“任务到达指定时间后再执行”的索引问题。你将使用 Unix 时间戳作为 Sorted Set 分数,查询已到期任务,并通过原子领取、处理确认和超时回收降低重复执行或任务丢失风险。
学习目标
- 使用时间戳组织待执行任务
- 原子领取到期任务并设置处理租约
- 理解至少一次执行与幂等边界
用分数表示执行时间
待处理集合的成员保存任务 ID,分数保存计划执行时间。工作线程查询分数不大于当前时间的成员,即可取得已到期任务。
成员只保存任务 ID,完整参数应放在数据库或 Hash 中。这样便于更新载荷、记录状态,也能避免把大段 JSON 作为成员重复占用内存。

完成领取、确认与回收
仅先执行 ZRANGEBYSCORE 再执行 ZREM 会产生竞争,多个工作线程可能同时读到同一任务。下面用 Lua 原子领取任务,并为每次领取写入唯一令牌;确认时必须校验令牌,避免旧工作线程误删已经重新领取的新租约。
now=$(date +%s)
pending=demo:delay:{0710}:pending
processing=demo:delay:{0710}:processing
claims=demo:delay:{0710}:claims
redis-cli DEL "$pending" "$processing" "$claims" >/dev/null
redis-cli ZADD "$pending" $((now - 1)) task:email:1001 $((now + 60)) task:email:1002 >/dev/null
echo "claimed:"
redis-cli --raw EVAL "
local clock = redis.call('TIME')
local now = tonumber(clock[1])
local items = redis.call('ZRANGEBYSCORE', KEYS[1], '-inf', now, 'LIMIT', 0, 1)
if #items == 0 then
return nil
end
local task = items[1]
redis.call('ZREM', KEYS[1], task)
redis.call('ZADD', KEYS[2], now + tonumber(ARGV[1]), task)
redis.call('HSET', KEYS[3], task, ARGV[2])
return {task, ARGV[2]}
" 3 "$pending" "$processing" "$claims" 30 claim-1001
echo "ack:"
redis-cli --raw EVAL "
if redis.call('HGET', KEYS[2], ARGV[1]) ~= ARGV[2] then
return 0
end
redis.call('ZREM', KEYS[1], ARGV[1])
redis.call('HDEL', KEYS[2], ARGV[1])
return 1
" 2 "$processing" "$claims" task:email:1001 claim-1001
redis-cli ZADD "$processing" 1 task:email:1003 >/dev/null
redis-cli HSET "$claims" task:email:1003 stale-claim >/dev/null
echo "recovered:"
redis-cli --raw EVAL "
local clock = redis.call('TIME')
local now = tonumber(clock[1])
local items = redis.call('ZRANGEBYSCORE', KEYS[1], '-inf', now, 'LIMIT', 0, 1)
if #items == 0 then
return nil
end
local task = items[1]
redis.call('ZREM', KEYS[1], task)
redis.call('HDEL', KEYS[3], task)
redis.call('ZADD', KEYS[2], now, task)
return task
" 3 "$processing" "$pending" "$claims"
echo "pending:"
redis-cli --raw ZRANGE "$pending" 0 -1预期输出:
claimed:
task:email:1001
claim-1001
ack:
1
recovered:
task:email:1003
pending:
task:email:1003
task:email:1002领取脚本使用 Redis 的 TIME,避免多个工作节点因本地时钟偏差产生不同判断。processing 的分数是租约截止时间,claims Hash 保存当前领取令牌;ACK、续租和回收都应在 Lua 中校验或更新同一份租约状态。
示例租约为 30 秒,实际值应大于正常处理耗时,并允许长任务续租。领取令牌应使用不可重复的请求 ID,而不是示例中的固定字符串。
失败处理与可靠性边界
任务成功后从 processing 删除即完成确认。业务失败时可按重试次数计算下一次执行时间,再原子移回 pending;超过上限的任务应进入失败表或死信队列,不能无限重试。
该模式通常提供“至少一次”执行。网络超时、确认失败或租约到期都可能导致任务再次执行,因此发送邮件、扣减库存等处理必须使用任务 ID 做幂等控制。
Redis 持久化、主从切换和故障恢复也会影响可靠性。强审计、不可丢失的任务应以数据库或消息队列作为事实来源,Sorted Set 只承担高效到期索引。Redis Cluster 中两个集合必须使用同一哈希标签。