可观测性与稳定性 / 系统课时
先写恢复Runbook再演练
先写恢复Runbook再演练
恢复演练不应从“大家凭经验操作”开始。先把告警确认、故障隔离、备份选择、恢复、业务验证和回切写成可执行 Runbook,才能在演练中发现步骤缺失、权限不足、责任不清和恢复时间超标等真实问题。
学习目标
- 把恢复过程拆成有明确输入、动作和验收条件的步骤
- 为备份选择、恢复验证和回切设置可判断的检查点
- 用一次桌面检查验证 Runbook 是否真正可执行
Runbook要解决什么问题
Runbook 不是原理文档,而是故障发生后可以照着执行的操作手册。执行者不应该临时猜测“先恢复数据库还是先启动应用”,也不应该在事故现场才寻找备份位置、账号或验证命令。
一份最小可用的恢复 Runbook 应覆盖六个阶段:确认故障、限制影响范围、选择恢复点、执行恢复、验证业务、决定回切或结束应急状态。每个阶段都要说明进入条件、具体动作、成功标准以及失败后如何停止或升级处理。

把步骤写成可执行动作
下面用 Markdown 保存一份精简 Runbook。它不是某个备份产品的专用格式,而是团队可以直接纳入仓库维护的操作文档。
事件:关键业务数据不可用
1. 告警确认
- 确认故障对象和开始时间 <TIME>
- 记录事件 ID <ID>
- 判断是单实例故障、数据损坏还是大范围不可用
2. 故障隔离
- 停止可能继续写入错误数据的入口
- 保留故障现场,不覆盖原始数据
3. 选择备份
- 明确目标恢复时间点 <TIME>
- 检查备份完成状态、创建时间和校验结果
- 记录所选备份 ID <ID>
4. 执行恢复
- 优先恢复到隔离环境 <PATH>
- 保存恢复命令、开始时间和结束时间
5. 验证
- 检查文件或数据完整性
- 检查权限、所有者和服务依赖
- 执行业务只读验证
6. 回切
- 业务负责人确认数据满足恢复目标
- 恢复流量或写入
- 持续观察错误率和关键业务指标这是片段示例,依赖团队补充真实系统名称、备份工具、负责人、访问方式和验证命令。它的生效方式是成为演练时唯一的操作基线;验证方法是让未参与编写的人仅依赖 Runbook 完成桌面推演,并记录无法继续执行的位置。
给关键节点设置停止条件
Runbook 最容易遗漏的不是正常步骤,而是“什么时候不能继续”。例如备份状态显示成功,并不等于备份一定可恢复;恢复命令执行成功,也不等于业务数据已经正确。
备份选择至少要核对时间范围、完整性检查结果和恢复目标是否一致。恢复完成后,则应分别验证数据、权限、依赖和业务访问。任何关键检查失败,都应该停在当前阶段处理,而不是为了缩短演练时间跳过检查点。
用桌面演练检查Runbook
正式执行破坏性演练前,可以先让另一名工程师按 Runbook 做桌面推演。重点不是背诵步骤,而是检查每一步是否真的知道“去哪里、执行什么、看到什么才算成功”。
可以用下面的命令检查团队仓库中的 Runbook 是否至少包含关键阶段标题。实际文件路径可能不同。
grep -E '告警确认|故障隔离|选择备份|执行恢复|验证|回切' <PATH>/recovery-runbook.md预期输出:六类关键阶段均能在文档中找到,具体行内容取决于 Runbook,因此实际文本可能不同。
告警确认
故障隔离
选择备份
执行恢复
验证
回切如果执行者仍需要临时询问备份位置、凭据获取方式、恢复目标或验收负责人,就应把这些缺口记录下来并修改 Runbook。演练的价值正是把依赖个人记忆的恢复过程,变成可重复、可检查并能持续改进的操作流程。