架构与系统设计 / 系统课时
设计故障注入测试矩阵
设计故障注入测试矩阵
故障注入的目标不是随机破坏组件,而是把故障类型、注入位置、允许的退化和恢复条件写成可重复验证的契约。本篇用一套最小矩阵覆盖延迟、UNAVAILABLE、连接重置、实例宕机、DNS 异常和 xDS 非法更新,并把关键场景落成可供 CI harness 执行的测试规格。
学习目标
- 把典型故障映射到明确的注入层与预期 gRPC 表现
- 为重试、负载均衡和连接恢复定义可验证的退化边界
- 用故障前、故障中和恢复后的统一指标判断测试是否通过
先定义通过条件再制造故障
一个故障用例至少要固定四件事:注入什么、在哪里注入、允许坏到什么程度、多久必须恢复。如果只记录“请求失败了”,测试无法区分预期退化和真正的治理失效。
对启用了重试的 RPC,还要把最终调用结果与 attempt 数分开观察。UNAVAILABLE 常用于表示暂时不可用,但只有满足方法语义和重试策略时才能安全重试;非幂等写操作不能仅因收到该状态就无条件重放。调用 deadline 仍约束整个逻辑 RPC,后续 attempt 不能把总等待时间无限延长。
建议每个用例至少记录最终状态码、端到端延迟、attempt 数、可观测到的 Channel 或 Subchannel 状态、READY 后端数、服务端实际执行次数,以及撤销故障后的恢复时间。
建立最小故障矩阵
先用单一故障建立基线,再把关键用例分别与“重试关闭或开启”“单后端或多后端”“已有 READY 连接或冷启动”组合。不要一开始叠加多个故障,否则失败后很难确定是哪条治理机制失效。
| 故障 | 注入位置 | 预期现象 | 通过条件 |
|---|---|---|---|
| 服务端或网络延迟 | RPC handler 或网络代理 | 延迟上升;超过 deadline 时出现 DEADLINE_EXCEEDED |
总耗时受 deadline 约束,解除延迟后恢复到基线 |
返回 UNAVAILABLE |
测试服务端 interceptor | 可重试方法产生有限 attempt | attempt 不超过策略上限;确定性恢复场景最终成功;非幂等操作无重复副作用 |
| 连接重置 | TCP 代理或故障代理 | 当前传输中断,相关 Subchannel 离开 READY,调用可能出现 UNAVAILABLE |
存在其他 READY 后端时可继续承载流量,恢复后能够重新建连 |
| 单实例宕机 | 编排平台或进程层 | 对应后端不可用,其余实例继续服务 | 不因单实例故障形成全量不可用,错误率保持在预算内 |
| DNS 更新异常 | 测试 resolver 或隔离 DNS | 新解析或后续重连受影响,已有连接可能继续工作 | 不采用无效解析结果;恢复有效解析后在规定窗口内收敛 |
| 非法 xDS 更新 | 测试控制面 | 客户端拒绝非法资源,并产生 NACK 或等价错误观测 | 最近一次已接受配置继续生效,非法更新不进入数据面 |
xDS 测试要区分“控制面暂时不可达”和“控制面可达但下发非法资源”。前者验证失联期间的数据面韧性,后者验证资源校验与 NACK 行为;两者混在一个用例里,会让连接故障与配置故障无法分辨。
把矩阵写成可执行测试规格
测试矩阵应进入仓库并由 harness 执行,而不是只保存在文档里。下面的 YAML 是测试规格数据结构示例,不是 gRPC 原生配置;harness 负责读取它,调用故障注入器、请求发生器和断言器。这里约定 maxAttempts 表示包含首次调用在内的总 attempt 上限,阈值应按实际 SLO 调整。
suite: grpc-fault-governance
defaults:
deadlineMs: 1000
sampleCount: 50
recoveryWithinMs: 5000
cases:
- name: latency-over-deadline
inject:
type: latency
valueMs: 1500
expect:
faultWindowCodes: [DEADLINE_EXCEEDED]
maxEndToEndMs: 1300
recoverToSuccessRate: 0.99
- name: retryable-unavailable
inject:
type: grpc-status
code: UNAVAILABLE
firstAttempts: 2
expect:
finalCodes: [OK]
maxAttempts: 3
duplicateSideEffects: 0
- name: tcp-reset
inject:
type: connection-reset
backend: one
expect:
transientCodes: [OK, UNAVAILABLE]
requireHealthyBackendReady: true
- name: instance-down
inject:
type: process-stop
backend: one
expect:
maxUnavailableRatio: 0.05
requireTrafficShift: true
- name: dns-update-error
inject:
type: resolver-error
expect:
alertRequired: true
recoverAfterValidUpdate: true
- name: invalid-xds-update
inject:
type: xds-invalid-resource
expect:
nackRequired: true
keepLastAcceptedConfig: true该规格生效后的验证方式是:harness 先采集健康基线,再按 inject 制造单一故障,并依据 expect 断言故障窗口与恢复阶段。retryable-unavailable 是确定性场景:前两次 attempt 固定返回 UNAVAILABLE,第三次停止注入,因此最终结果必须为 OK。如果把 UNAVAILABLE 也列入允许结果,即使客户端根本没有发起第三次 attempt,也可能被错误判定为通过。
最终返回 OK 仍不足以单独证明测试成功。若实际 attempt 超过三次,或非幂等写操作产生重复副作用,同样必须判失败。
控制变量避免假阳性
延迟测试必须固定客户端 deadline,否则无法判断超时来自治理策略还是测试环境抖动。连接重置与实例宕机也要分开:前者主要破坏已有传输,后者还会影响后续建连、健康后端数量和服务发现,预期状态变化不同。
DNS 与 xDS 用例还应记录故障发生前是否已有可用连接。warm channel 下,解析或控制面异常未必立即让数据面不可用;cold channel 或必须重连时,影响通常更明显。因此关键发现类故障至少应覆盖这两种起点。
用恢复阶段完成闭环
每个用例都应经历健康基线、故障窗口和恢复窗口三个阶段。撤销故障后,至少确认成功率回到基线、READY 后端数恢复、错误率和 retry attempt 不再持续增长,并且没有遗留错误的 DNS 或 xDS 状态以及无法恢复的连接。
当测试矩阵能够稳定回答“故障发生时允许出现什么、最多持续多久、解除后必须恢复到什么状态”,重试、负载均衡与连接治理才真正成为可持续验证的可靠性契约。