架构与系统设计 / 系统课时
制定上线后的架构验证计划
制定上线后的架构验证计划
架构通过评审并上线,并不代表关键假设已经被证明。真正的验证发生在生产环境:把可用性、性能、容量和韧性目标转成可观测指标,再通过容量回归与故障演练收集证据,才能判断设计是否成立,并持续修正原来的架构决策。
学习目标
- 把关键质量属性转成可持续观测的指标、阈值和判定动作
- 为上线后的容量回归与故障演练设计执行节奏和验收条件
- 建立从运行证据回到架构假设与决策记录的闭环
把架构假设转成运行证据
上线后的验证计划不是再写一份监控清单,而是逐条回答:当初做出的关键架构判断,生产环境里用什么证据证明它仍然成立?
例如,“双实例部署能够承受单实例故障”是一条架构假设。单纯看到两个实例都处于运行状态并不能验证它;更有价值的证据是主动停止一个实例后,服务仍满足错误率和延迟目标,而且恢复过程没有产生数据不一致。
一条可执行的验证项通常包含五个元素:质量属性、观测信号、目标阈值、验证场景和失败后的动作。只写“关注延迟”还不足以验收,应进一步定义统计口径、目标值以及超过阈值后是否暂停扩量、回滚或创建架构改进项。

定义质量属性验证矩阵
先从架构评审中真正影响系统成败的质量属性开始,不要把所有监控指标都塞进计划。每项至少确定一个能够做出工程判断的信号。
| 质量属性 | 运行证据示例 | 验证重点 | 不满足目标时的动作 |
|---|---|---|---|
| 可用性 | 成功请求比例、关键功能成功率 | 故障期间是否仍满足服务目标 | 暂停扩量并定位单点或恢复缺陷 |
| 性能 | P95/P99 延迟、超时比例 | 高峰负载下尾延迟是否失控 | 检查瓶颈并重新评估容量基线 |
| 容量 | 吞吐量、资源利用率、队列积压 | 峰值与增长余量是否符合预测 | 调整扩缩容策略或容量模型 |
| 韧性 | 故障影响范围、恢复时间 | 局部故障是否被隔离并自动恢复 | 修正降级、隔离或恢复机制 |
指标必须与用户可感知结果建立联系。例如 CPU 使用率很重要,但它更适合作为诊断信号;如果验证目标是“结算接口在峰值下仍可用”,验收指标应优先选择请求成功率、延迟和业务成功率,而不是仅以 CPU 是否低于某个百分比作为结论。
安排容量回归与故障演练
容量回归用于检查系统在代码、配置、数据规模或依赖发生变化后,原来的容量结论是否仍然成立。至少保留稳定负载和目标峰值两类场景,并把最近一次通过验证的结果作为基线。若相同负载下延迟明显增加、资源余量缩小或队列开始持续积压,即使功能测试全部通过,也应该重新评估架构。
故障演练验证的则是“设计中的失败路径”。优先选择已经声明能够承受的故障,例如单实例退出、单可用区不可达、依赖超时或消息消费暂停。每个场景提前定义允许的影响范围、目标恢复时间和停止条件,避免把生产演练变成无边界的破坏性测试。
执行顺序通常是先验证正常负载基线,再进行容量回归,最后在可控流量和明确保护措施下开展故障演练。这样一旦出现异常,可以区分是系统本身已经退化,还是故障注入造成的新问题。
用计划文件固化验证责任
验证计划最好与代码和架构决策一起版本化,使质量目标、执行频率和负责人能够被评审。下面是一个可按项目实际指标名称扩展的配置片段示例。
validationPlan:
release: '<ID>'
observationWindow: '24h'
checks:
- qualityAttribute: availability
signal: successful_request_ratio
target: '>= 99.9%'
actionOnFail: stop-rollout-and-investigate
- qualityAttribute: performance
signal: p99_latency_ms
target: '<= 500'
actionOnFail: stop-rollout-and-run-capacity-regression
capacityRegression:
cadence: weekly
baseline: '<ID>'
scenarios:
- steady-load
- peak-load
failureExercise:
cadence: monthly
scenarios:
- single-instance-loss
- dependency-timeout
evidence:
owner: architecture-review
store: '<PATH>'这是计划数据而不是通用平台配置,signal、阈值和场景名称必须替换成系统真实使用的指标与演练项。提交评审时应检查每个关键质量属性都有对应信号、目标和失败动作;上线后则按照 observationWindow、cadence 和负责人实际执行,并把报告保存到约定位置。<ID> 与 <PATH> 是动态值,实际版本标识和存储路径会因项目而不同。
用证据持续校正架构决策
验证结果不能停在监控面板或演练报告里。每次发现关键假设不成立,都应追溯到原来的架构决策:是容量模型低估了增长,隔离边界没有真正生效,还是恢复时间目标缺少技术支撑。修复后还要重新执行对应验证项,直到获得新的运行证据。
同样,长期稳定通过的结果也有价值。它可以证明某些高成本保护措施确实必要,也可能说明原先过度保守的容量余量可以调整。架构因此从一次性的设计文档变成可验证的假设集合:上线前说明为什么这样设计,上线后持续用生产证据判断这些理由是否仍然成立。