可观测性与稳定性 / 系统课时

列出必须恢复的最小集合

列出必须恢复的最小集合

真正的恢复目标不是把事故前的所有资源原样复制回来,而是用最少的必要组件恢复关键业务。本节从业务启动条件反推最小恢复集合,并通过清单与验证命令避免“数据库有备份,但系统仍起不来”的问题。

学习目标

  • 从关键业务路径反推出必须恢复的资源
  • 区分不可替代数据、可重建资源与可延后内容
  • 为最小恢复集合定义明确的验收条件

从业务能力而不是服务器开始

先写下灾难后必须恢复的业务能力,例如“用户可以登录并查询已有订单”,再追问这条路径实际依赖什么。通常会得到运行环境、应用版本、配置、身份凭据、数据库以及 DNS 或证书等资源,而不是只有一份数据库备份。

判断某项是否属于最小集合,可以使用一个简单标准:删除这一项后,目标业务还能否在允许的降级范围内完成。如果答案是否定的,它就是当前恢复目标的必要组成部分。

例如邮件通知、离线分析和历史日志可能都很重要,但如果它们不阻塞登录和订单查询,就可以安排在核心业务恢复之后。

建立最小恢复清单

清单至少要覆盖数据、配置、身份凭据、应用制品和运行环境。下面是一份可直接保存并参与版本管理的示例清单,路径和资源名称需要替换成实际环境值。

yaml
recovery_minimum:
  business_capability: "用户登录并查询已有订单"
  required:
    - application_image
    - runtime_configuration
    - database_backup
    - database_credentials
    - encryption_keys
    - network_and_dns
  deferred:
    - historical_logs
    - analytics_jobs
    - email_notifications

这份配置不是自动恢复工具的输入,因此不产生固定控制台输出。验证方法是逐项确认 required 中每个资源都有来源、恢复方法和负责人,并确认 deferred 中的项目缺失时不会阻塞目标业务。

区分恢复与重建

最小集合并不等于“所有项目都必须备份”。有些资源需要恢复数据,有些只需要能够可靠重建。例如不可重新生成的业务数据通常必须从备份恢复;容器镜像如果仍保存在可信镜像仓库中,可以直接拉取;基础设施如果有经过验证的声明式配置,也可以重新创建。

因此清单最好为每项资源标明来源:数据库来自备份集,应用来自固定版本制品,基础设施来自代码仓库,密钥来自独立的安全备份或密钥管理系统。这样才能发现只有名称、没有恢复来源的“纸面资产”。

用启动条件验证清单

清单完成后,应模拟一个全新环境,逐项验证它是否足以支撑目标业务。基础设施和配置恢复后,可以先检查应用是否能够启动,再验证关键业务接口。以下命令假设应用提供就绪检查端点。

bash
curl -fsS http://<HOST>:<PORT>/ready

预期输出

text
ready

<HOST> 与 <PORT> 是动态值,实际环境可能不同。就绪检查只能证明它所覆盖的依赖正常,因此还需要执行与恢复目标一致的业务验证,例如使用测试账号登录并读取一条已恢复订单,而不能只看进程是否存活。

如果演练时发现还必须临时寻找证书、手工回忆环境变量,或者从某台幸存服务器复制配置,这些资源实际上已经属于最小恢复集合,应立即补入清单并建立正式恢复来源。

控制最小集合的边界

最小集合过小会导致系统无法真正提供业务,过大则会让恢复时间被非关键资源拖长。边界应围绕已经定义的恢复目标,而不是围绕事故前环境的完整程度。

每次应用增加新的数据库、对象存储桶、外部身份系统、密钥或启动配置时,都应重新检查这份集合。最终要达到的状态是:即使原生产环境完全不可用,团队仍能仅凭清单指向的备份、制品、配置和重建材料,在新环境中恢复约定的关键业务能力。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

列出必须恢复的最小集合

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通