可观测性与稳定性 / 系统课时

先写恢复Runbook再演练

先写恢复Runbook再演练

恢复演练不应从“大家凭经验操作”开始。先把告警确认、故障隔离、备份选择、恢复、业务验证和回切写成可执行 Runbook,才能在演练中发现步骤缺失、权限不足、责任不清和恢复时间超标等真实问题。

学习目标

  • 把恢复过程拆成有明确输入、动作和验收条件的步骤
  • 为备份选择、恢复验证和回切设置可判断的检查点
  • 用一次桌面检查验证 Runbook 是否真正可执行

Runbook要解决什么问题

Runbook 不是原理文档,而是故障发生后可以照着执行的操作手册。执行者不应该临时猜测“先恢复数据库还是先启动应用”,也不应该在事故现场才寻找备份位置、账号或验证命令。

一份最小可用的恢复 Runbook 应覆盖六个阶段:确认故障、限制影响范围、选择恢复点、执行恢复、验证业务、决定回切或结束应急状态。每个阶段都要说明进入条件、具体动作、成功标准以及失败后如何停止或升级处理。

恢复Runbook从告警到回切的执行流程

把步骤写成可执行动作

下面用 Markdown 保存一份精简 Runbook。它不是某个备份产品的专用格式,而是团队可以直接纳入仓库维护的操作文档。

text
事件:关键业务数据不可用

1. 告警确认
   - 确认故障对象和开始时间 <TIME>
   - 记录事件 ID <ID>
   - 判断是单实例故障、数据损坏还是大范围不可用

2. 故障隔离
   - 停止可能继续写入错误数据的入口
   - 保留故障现场,不覆盖原始数据

3. 选择备份
   - 明确目标恢复时间点 <TIME>
   - 检查备份完成状态、创建时间和校验结果
   - 记录所选备份 ID <ID>

4. 执行恢复
   - 优先恢复到隔离环境 <PATH>
   - 保存恢复命令、开始时间和结束时间

5. 验证
   - 检查文件或数据完整性
   - 检查权限、所有者和服务依赖
   - 执行业务只读验证

6. 回切
   - 业务负责人确认数据满足恢复目标
   - 恢复流量或写入
   - 持续观察错误率和关键业务指标

这是片段示例,依赖团队补充真实系统名称、备份工具、负责人、访问方式和验证命令。它的生效方式是成为演练时唯一的操作基线;验证方法是让未参与编写的人仅依赖 Runbook 完成桌面推演,并记录无法继续执行的位置。

给关键节点设置停止条件

Runbook 最容易遗漏的不是正常步骤,而是“什么时候不能继续”。例如备份状态显示成功,并不等于备份一定可恢复;恢复命令执行成功,也不等于业务数据已经正确。

备份选择至少要核对时间范围、完整性检查结果和恢复目标是否一致。恢复完成后,则应分别验证数据、权限、依赖和业务访问。任何关键检查失败,都应该停在当前阶段处理,而不是为了缩短演练时间跳过检查点。

用桌面演练检查Runbook

正式执行破坏性演练前,可以先让另一名工程师按 Runbook 做桌面推演。重点不是背诵步骤,而是检查每一步是否真的知道“去哪里、执行什么、看到什么才算成功”。

可以用下面的命令检查团队仓库中的 Runbook 是否至少包含关键阶段标题。实际文件路径可能不同。

bash
grep -E '告警确认|故障隔离|选择备份|执行恢复|验证|回切' <PATH>/recovery-runbook.md

预期输出:六类关键阶段均能在文档中找到,具体行内容取决于 Runbook,因此实际文本可能不同。

text
告警确认
故障隔离
选择备份
执行恢复
验证
回切

如果执行者仍需要临时询问备份位置、凭据获取方式、恢复目标或验收负责人,就应把这些缺口记录下来并修改 Runbook。演练的价值正是把依赖个人记忆的恢复过程,变成可重复、可检查并能持续改进的操作流程。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

先写恢复Runbook再演练

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通