Redis 与缓存 / 系统课时

安全删除超大对象

安全删除超大对象

删除一个超大 Redis 对象时,真正危险的不是删除命令本身,而是释放对象内存的瞬间可能阻塞主线程。本课用 UNLINK 替代高风险的同步 DEL,再通过分批删除、观察异步回收积压量和控制删除窗口,降低回收动作对在线请求的影响。

学习目标

  • 能判断什么时候应优先使用 UNLINK 而不是 DEL。
  • 能设计带批次大小和观察点的大对象删除过程。
  • 能用 Redis 指标验证删除是否真正降低了内存压力。

先区分“从键空间删除”和“释放内存”

DEL 会在执行命令的 Redis 主线程中完成对象释放。对象越大,释放过程越可能占用事件循环时间,表现为删除命令本身延迟升高,甚至让同时到达的在线请求排队。

UNLINK 先把 key 从键空间摘除,再把实际内存回收交给后台线程处理。这样业务请求不会等待完整的对象释放,但代价是回收可能暂时积压,因此不能把 UNLINK 理解成“删除后内存立即下降”。

超大对象从删除到异步回收的生命周期

因此,生产删除大对象时通常关注两个时间点:业务上这个 key 何时不可见,以及它占用的内存何时真正被回收。两者不能混为一谈。

单个大对象先用 UNLINK 验证

删除动作前,先确认目标 key 的类型和近似内存占用。MEMORY USAGE 返回的是该 key 的内存估算值,适合帮助判断风险级别;它不是精确的业务数据量统计。

下面示例先观察一个缓存对象,再使用 UNLINK 删除,并查看 lazyfree 队列的状态。示例中的 <ID> 只是动态 key 后缀,实际环境应替换成真实值。

bash
KEY="cache:<ID>"
redis-cli TYPE "$KEY"
redis-cli MEMORY USAGE "$KEY"
redis-cli UNLINK "$KEY"
redis-cli INFO memory | grep '^lazyfree_pending_objects:'

预期结果

text
string
52428800
(integer) 1
lazyfree_pending_objects:0

这里假设目标对象约为 50 MiB,UNLINK 返回 1 表示该 key 被成功移除;lazyfree_pending_objects 是否大于 0 会随后台回收速度变化,因此不能把固定值当成每次都必须相同的结果。

大量大对象要按批次删除

一次删除几十、几百个超大对象时,即使单次操作使用 UNLINK,也不应该无节制地把所有 key 一口气提交。批次太大可能让后台 lazyfree 队列快速增长,导致 RSS、进程常驻内存或系统内存压力在短时间内继续升高。

更稳妥的做法是固定批次大小,例如每批 50 或 100 个 key;每批完成后检查 Redis 延迟、lazyfree_pending_objects、used_memory 与系统内存,再决定是否继续。下面示例假设业务约定 key 不包含换行符,并只删除明确属于清理范围的 tmp:cache: 前缀。

bash
COUNT=100
redis-cli --scan --pattern 'tmp:cache:*' | while read -r key; do
  batch="${batch:+$batch }$key"
  COUNT=$((COUNT - 1))

  if [ "$COUNT" -eq 0 ]; then
    # 一批提交后暂停,让后台回收线程有机会追上。
    redis-cli UNLINK $batch >/dev/null
    redis-cli INFO memory | grep -E '^(used_memory:|lazyfree_pending_objects:)'
    batch=""
    COUNT=100
    sleep 1
  fi
done

if [ -n "$batch" ]; then
  redis-cli UNLINK $batch >/dev/null
fi

预期结果

text
used_memory:734003200
lazyfree_pending_objects:18
used_memory:702545920
lazyfree_pending_objects:7

这个输出只用于说明观察关系:删除批次提交后,used_memory 可能逐步下降,而 lazyfree_pending_objects 可能先上升再回落。实际数值取决于对象大小、后台线程处理速度和同时发生的业务流量。

对于包含空白字符、换行符或二进制字节的异常 key,不应直接套用上述 read 和 shell 参数拼接方式,应改用更严格的键枚举与参数传递方式。生产脚本还应加入明确的前缀过滤和删除数量上限,避免匹配条件错误造成误删。

删除过程中看什么指标

安全删除不是“命令成功就结束”。至少要同时观察 Redis 内存和在线延迟两个方向。

指标 观察目的 异常信号
used_memory Redis 逻辑内存是否下降 删除后长期不降,需检查新数据持续写入或回收尚未完成
lazyfree_pending_objects 异步回收是否积压 持续增长说明删除速度超过后台回收能力
Redis 延迟 主线程是否受到影响 删除窗口出现明显延迟尖峰
系统可用内存 进程 RSS 与主机压力 逻辑内存下降但系统压力仍高,需继续检查回收和碎片情况

真正需要暂停删除的是“后台回收积压继续增长,同时在线延迟或系统内存压力恶化”的组合信号,而不是看到某一个指标短时波动就立即下结论。

什么时候仍然不能激进删除

如果目标 key 是热点业务对象,删除后可能立刻发生缓存击穿,应用会把读压力重新打到数据库。此时即使 UNLINK 本身安全,也可能因为后端回源而引发新的故障。

因此删除窗口应同时满足两个条件:Redis 侧能够承受回收压力,业务侧也能够承受删除后的缓存失效。对于连续产生的大对象,更应该先治理写入来源、TTL 或数据结构设计,再把清理脚本作为补救措施。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

安全删除超大对象

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通