Redis 与缓存 / 技术文章

Redis 重启后数据丢失怎么排查

第一时间面对 Redis 重启后的数据异常,最重要的不是立刻执行恢复命令,而是先确定“丢失发生在哪里、最后可靠数据到什么时候、重启时实际加载了什么”。这篇文章面向需要处理 Redis 重启、宕机恢复和数据异常事故的后端工程师、运维工程师与 SRE,提供一条从现象确认到持久化证据、恢复时间点和根因判断的排查路径,最终能够判断数据丢失是否真实、损失边界在哪里,以及下一步应保护什么证据。

先确认是不是 Redis 重启导致的数据丢失

先区分“数据真的没了”和“应用暂时读不到”。优先检查实例是否发生过重启、当前数据集规模、关键 key 是否缺失,以及应用连接的到底是不是原来的 Redis 实例。

可以先执行:

bash
redis-cli -h <IP> -p <PORT> INFO server
redis-cli -h <IP> -p <PORT> DBSIZE
redis-cli -h <IP> -p <PORT> INFO persistence

预期结果:

text
# Server
uptime_in_seconds:<VALUE>

# Keyspace
# db0:keys=<VALUE>,expires=<VALUE>,avg_ttl=<VALUE>

# Persistence
loading:0
rdb_last_save_time:<VALUE>
aof_enabled:<VALUE>

重点记录当前实例的运行时间、数据库 key 数量,以及 RDB/AOF 是否启用。若重启时间与数据异常时间高度吻合,再继续沿持久化链路排查;若当前实例本身就不是原实例,则应先检查连接配置、服务发现和故障转移记录。

判断重启时到底从哪里加载数据

Redis 重启后的数据不是凭空恢复出来的,必须来自启动时可用的持久化数据。排查时重点确认实例实际使用的是 RDB、AOF,还是启用了多部件 AOF 的文件集合,同时确认这些文件来自哪个数据目录。

先查看配置与运行状态:

bash
redis-cli -h <IP> -p <PORT> CONFIG GET dir
redis-cli -h <IP> -p <PORT> CONFIG GET dbfilename
redis-cli -h <IP> -p <PORT> CONFIG GET appendonly
redis-cli -h <IP> -p <PORT> INFO persistence

预期结果:

text
dir
<VALUE>

dbfilename
dump.rdb

appendonly
yes

loading:0
rdb_last_save_time:<VALUE>
aof_enabled:1

如果 appendonly 未开启,而最后一次有效 RDB 很早以前就生成,那么重启后的数据可能天然只能恢复到那个 RDB 时间点。若启用了 AOF,还要继续确认 AOF 文件是否存在、是否可读,以及重启前最后一段写入有没有真正持久化到磁盘。

不要只看配置文件内容;运行中的实例、容器挂载路径和实际启动参数才是故障现场的关键证据。

用最后持久化时间确定损失边界

数据丢失排查的核心问题不是“少了多少 key”,而是“最后一次可靠持久化发生在什么时候”。把业务最后一次确认存在的数据时间,与 RDB 快照时间、AOF 持久化进度、实例重启时间放在同一条时间轴上,通常就能快速缩小范围。

可以先读取持久化时间:

bash
redis-cli -h <IP> -p <PORT> INFO persistence | egrep 'rdb_last_save_time|aof_last_write_status|aof_last_bgrewrite_status|aof_enabled'

预期结果:

text
rdb_last_save_time:<VALUE>
aof_enabled:1
aof_last_write_status:ok
aof_last_bgrewrite_status:ok

这里要注意:RDB 的 rdb_last_save_time 表示最近一次完成的 RDB 保存时间,并不等于实例中所有当前数据都已进入快照。若 Redis 在下一次快照前突然宕机,快照之后产生的数据可能无法通过该 RDB 恢复。

对于 AOF,则要结合实际同步策略判断最后可能落盘的数据边界。appendfsync everysec 等策略意味着崩溃时可能存在最近一小段尚未真正落到磁盘的数据,因此排查时不要把“客户端写成功”直接等同于“重启后必然存在”。

检查 RDB 与 AOF 文件是否完整可用

确认恢复时间点后,再判断持久化文件本身有没有问题。重点检查文件是否存在、大小是否异常、修改时间是否符合事故时间线,以及 Redis 日志中是否出现加载失败、截断或损坏信息。

先确认数据目录:

bash
redis-cli -h <IP> -p <PORT> CONFIG GET dir
redis-cli -h <IP> -p <PORT> CONFIG GET appenddirname

再在 Redis 数据目录中检查文件:

bash
ls -lh <PATH>
find <PATH> -maxdepth 2 -type f \( -name '*.rdb' -o -name '*.aof' -o -name '*.manifest' \) -printf '%TY-%Tm-%Td %TH:%TM:%TS %s %p\n'

预期结果:

text
<VALUE> dump.rdb
<VALUE> appendonly.aof
<VALUE> appendonlydir/<VALUE>

如果使用多部件 AOF,不要只盯着单个 AOF 文件名称,还要核对 manifest 与其引用的 base、incremental 文件是否完整。若文件大小突然变成 0、修改时间明显早于预期,或者 manifest 引用了缺失文件,应优先保护现场并记录文件副本,避免继续启动操作覆盖证据。

文件存在也不代表文件可成功恢复。遇到启动报错时,应结合 Redis 启动日志判断是文件损坏、尾部截断、权限问题、挂载丢失,还是实际读取了错误的数据目录。

区分持久化丢失、恢复滞后与主从切换丢失

Redis 数据异常不一定由单机持久化失败造成。生产环境还要排查复制与故障转移:主节点上的最新写入可能尚未复制到副本,故障转移后客户端又连接到了数据更旧的节点。

典型判断顺序是先问三个问题:原主节点最后一次可见的数据是什么时间点;副本在故障发生时复制到了什么进度;故障转移后客户端最终连接到了哪个实例。如果旧主节点仍保留着缺失 key,而新主节点没有,问题更接近复制或故障转移时的数据覆盖,而不是简单的“Redis 重启丢数据”。

排查现场时可以记录复制状态:

bash
redis-cli -h <IP> -p <PORT> INFO replication

预期结果:

text
role:master
connected_slaves:<VALUE>
master_replid:<VALUE>
master_repl_offset:<VALUE>

若实例是副本,则应进一步记录主从连接状态、复制偏移和故障切换时间。不要在没有保留旧实例数据和日志的情况下直接删除旧节点,否则后续很难证明究竟是持久化链路还是复制链路造成了数据回退。

按证据链完成根因判断

完成现场采集后,可以把证据按“业务写入 → Redis 内存 → 持久化 → 重启 → 恢复实例”串成一条时间线。最终通常落到以下几类根因:最后一次 RDB 距事故过久;AOF 未按预期持久化;AOF 或 RDB 文件损坏;数据目录、挂载或权限导致恢复了错误文件;故障转移到数据更旧的节点;或者业务误删、脚本操作和连接配置错误被误认为是重启丢失。

一个实用的判断原则是:先锁定最后可信数据时间点,再锁定重启时真正加载的数据源,最后用日志、文件时间和复制状态验证两者之间发生了什么。只要这三层证据能够闭环,就可以明确数据损失窗口,而不是停留在“Redis 重启后少了数据”的表象。

事故处理中还应优先保护原始 RDB、AOF、manifest、Redis 日志和容器或主机重启记录。在完成证据留存前,不要反复执行覆盖持久化文件、强制重写 AOF 或删除旧实例等高风险操作。这样既能避免扩大损失,也能为后续恢复与复盘保留足够依据。

目录与阅读设置

记录一个想法

Redis 重启后数据丢失怎么排查

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通