Redis 与缓存 / 系统课时

演练 AOF 损坏恢复

演练 AOF 损坏恢复

本节模拟 Redis 因 AOF 尾部异常而无法正常加载数据的故障,按生产恢复顺序完成停止操作、保护原始文件、确认损坏位置、离线修复、重新启动和数据差异验证,重点避免为了尽快启动而破坏唯一可追溯的故障现场。

学习目标

  • 按现场保护、检查、修复、启动、验证的顺序处理 AOF 损坏
  • 使用 redis-check-aof 判断并修复可处理的 AOF 异常
  • 通过修复前后文件与业务数据对比确认实际数据损失范围

从启动失败确认 AOF 故障

演练前应准备一份可丢弃的 Redis 实例或 AOF 副本,不要直接修改生产环境唯一持久化文件。Redis 启动加载 AOF 时,如果文件尾部存在不完整命令或格式异常,日志通常会指出 AOF 加载失败以及涉及的文件。

先记录实例的数据目录和 AOF 相关配置,避免后续修错文件:

bash
redis-cli -p <PORT> CONFIG GET dir
redis-cli -p <PORT> CONFIG GET appendonly
redis-cli -p <PORT> CONFIG GET appenddirname

预期输出

text
1) "dir"
2) "<PATH>"
1) "appendonly"
2) "yes"
1) "appenddirname"
2) "<VALUE>"

<PORT>、<PATH> 和 <VALUE> 取决于实际实例。Redis 新版本可能使用多文件 AOF,目录中包含 manifest、base 文件和一个或多个增量 AOF,因此必须以启动日志和 manifest 指向的文件为准,不要假定只有一个 appendonly.aof。

AOF 损坏恢复的现场保护与修复流程

先保护现场再检查文件

故障恢复的第一动作不是执行 --fix,而是保留原始 AOF。先停止会继续写入该目录的 Redis 进程,再把完整 AOF 目录复制到独立位置。多文件 AOF 场景尤其要保留 manifest 与全部 base、incr 文件,否则事后无法还原当时的加载链路。

bash
cp -a <PATH>/<AOF_DIR> <PATH>/<AOF_DIR>.incident-<ID>
cp -a <PATH>/<AOF_DIR> <PATH>/<AOF_DIR>.repair-<ID>

预期结果

text
命令成功时通常无输出;原始目录、incident 副本和 repair 副本同时存在。

<ID> 可以使用工单号或演练编号。后续检查和修复只针对 repair 副本,incident 副本保持只读,便于重新分析或更换恢复方案。

用 redis-check-aof 定位异常

从 Redis 启动日志或 AOF manifest 确定报错的具体 AOF 文件后,先做只读检查。下面的 <AOF_FILE> 表示需要检查的实际 base 或增量 AOF 文件路径。

bash
redis-check-aof <PATH>/<AOF_DIR>.repair-<ID>/<AOF_FILE>

预期输出

text
AOF analyzed: size=<VALUE>, ok_up_to=<VALUE>, diff=<VALUE>
AOF is not valid

具体字节数和诊断文本会随损坏位置变化。关键是确认工具报告的有效位置与异常尾部,而不是照抄某个固定偏移量。如果工具判断文件完整,就应停止“修 AOF”这条路径,重新检查 manifest、文件权限、磁盘错误或启动日志中的其他根因。

在副本上修复并重新校验

确认损坏属于可接受的尾部异常后,在 repair 副本执行修复。命令会要求确认修改,因此演练时应阅读工具给出的截断范围,再决定是否继续。

bash
redis-check-aof --fix <PATH>/<AOF_DIR>.repair-<ID>/<AOF_FILE>
redis-check-aof <PATH>/<AOF_DIR>.repair-<ID>/<AOF_FILE>

预期结果

text
修复命令报告已处理异常内容;再次检查时文件通过 AOF 完整性检查。

不要只凭“检查通过”就替换生产文件。下一步应让修复后的整套 AOF 在隔离实例中完成一次真实加载,因为单个文件语法有效并不等价于整个 manifest 链路和数据状态都满足恢复要求。

启动隔离实例并核对数据差异

把修复副本配置给一个不会接收业务流量的 Redis 实例,确认实例能完成启动,再检查关键业务键。最小验收至少包含进程可用、AOF 已启用、关键键存在以及数据量变化在预期范围内。

bash
redis-cli -p <PORT> PING
redis-cli -p <PORT> INFO persistence
redis-cli -p <PORT> DBSIZE
redis-cli -p <PORT> GET drill:checkpoint

预期输出

text
PONG
# Persistence
<实际持久化状态字段>
<实际键数量>
<检查点对应的值或 nil>

DBSIZE 只能作为粗粒度信号,不能证明业务一致性。演练时应事先写入一个带序号或时间点的检查键,例如 drill:checkpoint,再将修复后最后可见的数据点与故障前记录比较,由此判断实际损失是否落在约定 RPO 内。

如果修复后无法启动、关键数据差异超过 RPO,或损坏不只发生在可舍弃的尾部,就不应继续扩大截断范围。此时应保留现场并切换到最近可信 RDB、AOF 备份或上游系统重建路径。一次合格的 AOF 恢复演练,不是证明 --fix 能让 Redis 启动,而是证明团队能够在不破坏证据的前提下判断何时修、修到哪里以及何时停止修复。

按自己的节奏,确认真正理解。

目录与阅读设置

记录一个想法

演练 AOF 损坏恢复

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通