可观测性与稳定性 / 系统课时
列出必须恢复的最小集合
列出必须恢复的最小集合
真正的恢复目标不是把事故前的所有资源原样复制回来,而是用最少的必要组件恢复关键业务。本节从业务启动条件反推最小恢复集合,并通过清单与验证命令避免“数据库有备份,但系统仍起不来”的问题。
学习目标
- 从关键业务路径反推出必须恢复的资源
- 区分不可替代数据、可重建资源与可延后内容
- 为最小恢复集合定义明确的验收条件
从业务能力而不是服务器开始
先写下灾难后必须恢复的业务能力,例如“用户可以登录并查询已有订单”,再追问这条路径实际依赖什么。通常会得到运行环境、应用版本、配置、身份凭据、数据库以及 DNS 或证书等资源,而不是只有一份数据库备份。
判断某项是否属于最小集合,可以使用一个简单标准:删除这一项后,目标业务还能否在允许的降级范围内完成。如果答案是否定的,它就是当前恢复目标的必要组成部分。
例如邮件通知、离线分析和历史日志可能都很重要,但如果它们不阻塞登录和订单查询,就可以安排在核心业务恢复之后。
建立最小恢复清单
清单至少要覆盖数据、配置、身份凭据、应用制品和运行环境。下面是一份可直接保存并参与版本管理的示例清单,路径和资源名称需要替换成实际环境值。
recovery_minimum:
business_capability: "用户登录并查询已有订单"
required:
- application_image
- runtime_configuration
- database_backup
- database_credentials
- encryption_keys
- network_and_dns
deferred:
- historical_logs
- analytics_jobs
- email_notifications这份配置不是自动恢复工具的输入,因此不产生固定控制台输出。验证方法是逐项确认 required 中每个资源都有来源、恢复方法和负责人,并确认 deferred 中的项目缺失时不会阻塞目标业务。
区分恢复与重建
最小集合并不等于“所有项目都必须备份”。有些资源需要恢复数据,有些只需要能够可靠重建。例如不可重新生成的业务数据通常必须从备份恢复;容器镜像如果仍保存在可信镜像仓库中,可以直接拉取;基础设施如果有经过验证的声明式配置,也可以重新创建。
因此清单最好为每项资源标明来源:数据库来自备份集,应用来自固定版本制品,基础设施来自代码仓库,密钥来自独立的安全备份或密钥管理系统。这样才能发现只有名称、没有恢复来源的“纸面资产”。
用启动条件验证清单
清单完成后,应模拟一个全新环境,逐项验证它是否足以支撑目标业务。基础设施和配置恢复后,可以先检查应用是否能够启动,再验证关键业务接口。以下命令假设应用提供就绪检查端点。
curl -fsS http://<HOST>:<PORT>/ready预期输出
ready<HOST> 与 <PORT> 是动态值,实际环境可能不同。就绪检查只能证明它所覆盖的依赖正常,因此还需要执行与恢复目标一致的业务验证,例如使用测试账号登录并读取一条已恢复订单,而不能只看进程是否存活。
如果演练时发现还必须临时寻找证书、手工回忆环境变量,或者从某台幸存服务器复制配置,这些资源实际上已经属于最小恢复集合,应立即补入清单并建立正式恢复来源。
控制最小集合的边界
最小集合过小会导致系统无法真正提供业务,过大则会让恢复时间被非关键资源拖长。边界应围绕已经定义的恢复目标,而不是围绕事故前环境的完整程度。
每次应用增加新的数据库、对象存储桶、外部身份系统、密钥或启动配置时,都应重新检查这份集合。最终要达到的状态是:即使原生产环境完全不可用,团队仍能仅凭清单指向的备份、制品、配置和重建材料,在新环境中恢复约定的关键业务能力。