NoSQL 与搜索 / 系统课时
开展恢复演练并验证 RPO/RTO
开展恢复演练并验证 RPO/RTO
恢复方案只有在真实恢复过之后才算可信。本课把一次备份恢复变成可计时、可验收的演练:在隔离环境恢复数据,检查关键集合与应用读写路径,并用时间点计算实际 RPO 与 RTO。
学习目标
- 在隔离环境按生产恢复路径完成一次 MongoDB 恢复
- 用数据完整性与应用可用性检查判断恢复是否成功
- 记录真实 RPO、RTO,并定位未达标环节
先把演练边界变成可测量条件
演练前先固定四个时间点:故障发生时间 T_incident、备份能够恢复到的最后一致时间 T_recovered、恢复动作开始时间 T_start、应用验收通过时间 T_ready。实际 RPO 可按 T_incident - T_recovered 计算;实际 RTO 应按 T_ready - T_incident 计算。只统计 mongorestore 用时得到的是“恢复工具耗时”,不是完整 RTO。
同时写明验收口径:目标数据库必须是隔离、可销毁的环境;关键集合数量和索引应与备份清单一致;核心查询、认证和至少一条安全写入路径可用;应用不得连接生产下游。若演练无法模拟故障发现阶段,也要在记录中明确 RTO 从哪个时间点开始,避免不同演练结果无法比较。

在隔离环境执行完整恢复
以下示例针对由副本集成员使用 mongodump --oplog 生成的完整目录备份。--oplogReplay 会重放该次 dump 期间捕获的 oplog,使恢复结果覆盖到备份完成时的一致状态,但它不是任意时间点恢复。目标应是新建的空白隔离实例,不要把恢复 URI 指向生产环境。
export RESTORE_URI='mongodb://restore-user@<HOST>:<PORT>/?authSource=admin'
export BACKUP_DIR='<PATH>/dump'
mongorestore \
--uri="$RESTORE_URI" \
--oplogReplay \
"$BACKUP_DIR"预期输出
<N> document(s) restored successfully. 0 document(s) failed to restore.<N>、主机、端口和路径会随环境变化。只有完整备份确实包含 oplog.bson 时才使用 --oplogReplay;恢复账号也需要对应权限,演练结束后应撤销临时高权限凭据。若使用 Atlas、Ops Manager 或其他快照/PITR 方案,应按该方案的正式恢复流程演练,而不是强行换成 mongorestore。
校验数据和应用是否真的可用
“命令成功退出”只能证明恢复工具没有报告失败,不能证明业务数据正确。至少要把备份时记录的清单与恢复结果对照,包括关键数据库和集合是否存在、关键集合文档量、索引数量或定义,以及能代表业务状态的已知样本。下面用 app.orders 演示最小检查,实际演练应替换为自己的关键集合。
export CHECK_URI='mongodb://check-user@<HOST>:<PORT>/?authSource=admin'
mongosh "$CHECK_URI" --quiet --eval '
const d = db.getSiblingDB("app");
const names = d.getCollectionNames();
const orders = d.getCollection("orders");
printjson({
collectionExists: names.includes("orders"),
orderCount: orders.countDocuments({}),
indexCount: orders.getIndexes().length
});
'预期输出
{
collectionExists: true,
orderCount: <COUNT>,
indexCount: <COUNT>
}<COUNT> 必须与本次备份的验收清单核对,而不是只判断“非零”。随后让测试版应用只连接恢复集群,执行核心只读查询、认证流程和一条可回滚的写入冒烟测试;同时确认索引、Schema Validation、用户与权限等应用依赖没有缺失。大库不宜临时做全库昂贵校验,应提前设计可重复的清单、抽样规则或离线校验任务。
用时间记录判断 RPO/RTO 是否达标
演练记录至少保存备份标识、T_recovered、T_incident、环境准备完成时间、恢复结束时间、数据校验结束时间和 T_ready。如果 RPO 超标,根因通常在备份频率、PITR/oplog 覆盖窗口或备份任务失败;如果 RTO 超标,则继续拆分环境创建、数据传输、恢复吞吐、索引恢复、校验、应用启动和流量切换各阶段耗时。
一场合格的恢复演练最终要留下可复现的命令、备份与目标环境标识、数据验收证据、应用验收证据和分阶段时间线。这样下一次演练才能比较趋势,真正判断恢复能力是否仍满足业务目标。