架构与系统设计 / 系统课时

设计故障注入测试矩阵

设计故障注入测试矩阵

故障注入的目标不是随机破坏组件,而是把故障类型、注入位置、允许的退化和恢复条件写成可重复验证的契约。本篇用一套最小矩阵覆盖延迟、UNAVAILABLE、连接重置、实例宕机、DNS 异常和 xDS 非法更新,并把关键场景落成可供 CI harness 执行的测试规格。

学习目标

  • 把典型故障映射到明确的注入层与预期 gRPC 表现
  • 为重试、负载均衡和连接恢复定义可验证的退化边界
  • 用故障前、故障中和恢复后的统一指标判断测试是否通过

先定义通过条件再制造故障

一个故障用例至少要固定四件事:注入什么、在哪里注入、允许坏到什么程度、多久必须恢复。如果只记录“请求失败了”,测试无法区分预期退化和真正的治理失效。

对启用了重试的 RPC,还要把最终调用结果与 attempt 数分开观察。UNAVAILABLE 常用于表示暂时不可用,但只有满足方法语义和重试策略时才能安全重试;非幂等写操作不能仅因收到该状态就无条件重放。调用 deadline 仍约束整个逻辑 RPC,后续 attempt 不能把总等待时间无限延长。

建议每个用例至少记录最终状态码、端到端延迟、attempt 数、可观测到的 Channel 或 Subchannel 状态、READY 后端数、服务端实际执行次数,以及撤销故障后的恢复时间。

建立最小故障矩阵

先用单一故障建立基线,再把关键用例分别与“重试关闭或开启”“单后端或多后端”“已有 READY 连接或冷启动”组合。不要一开始叠加多个故障,否则失败后很难确定是哪条治理机制失效。

故障 注入位置 预期现象 通过条件
服务端或网络延迟 RPC handler 或网络代理 延迟上升;超过 deadline 时出现 DEADLINE_EXCEEDED 总耗时受 deadline 约束,解除延迟后恢复到基线
返回 UNAVAILABLE 测试服务端 interceptor 可重试方法产生有限 attempt attempt 不超过策略上限;确定性恢复场景最终成功;非幂等操作无重复副作用
连接重置 TCP 代理或故障代理 当前传输中断,相关 Subchannel 离开 READY,调用可能出现 UNAVAILABLE 存在其他 READY 后端时可继续承载流量,恢复后能够重新建连
单实例宕机 编排平台或进程层 对应后端不可用,其余实例继续服务 不因单实例故障形成全量不可用,错误率保持在预算内
DNS 更新异常 测试 resolver 或隔离 DNS 新解析或后续重连受影响,已有连接可能继续工作 不采用无效解析结果;恢复有效解析后在规定窗口内收敛
非法 xDS 更新 测试控制面 客户端拒绝非法资源,并产生 NACK 或等价错误观测 最近一次已接受配置继续生效,非法更新不进入数据面

xDS 测试要区分“控制面暂时不可达”和“控制面可达但下发非法资源”。前者验证失联期间的数据面韧性,后者验证资源校验与 NACK 行为;两者混在一个用例里,会让连接故障与配置故障无法分辨。

把矩阵写成可执行测试规格

测试矩阵应进入仓库并由 harness 执行,而不是只保存在文档里。下面的 YAML 是测试规格数据结构示例,不是 gRPC 原生配置;harness 负责读取它,调用故障注入器、请求发生器和断言器。这里约定 maxAttempts 表示包含首次调用在内的总 attempt 上限,阈值应按实际 SLO 调整。

yaml
suite: grpc-fault-governance
defaults:
  deadlineMs: 1000
  sampleCount: 50
  recoveryWithinMs: 5000

cases:
  - name: latency-over-deadline
    inject:
      type: latency
      valueMs: 1500
    expect:
      faultWindowCodes: [DEADLINE_EXCEEDED]
      maxEndToEndMs: 1300
      recoverToSuccessRate: 0.99

  - name: retryable-unavailable
    inject:
      type: grpc-status
      code: UNAVAILABLE
      firstAttempts: 2
    expect:
      finalCodes: [OK]
      maxAttempts: 3
      duplicateSideEffects: 0

  - name: tcp-reset
    inject:
      type: connection-reset
      backend: one
    expect:
      transientCodes: [OK, UNAVAILABLE]
      requireHealthyBackendReady: true

  - name: instance-down
    inject:
      type: process-stop
      backend: one
    expect:
      maxUnavailableRatio: 0.05
      requireTrafficShift: true

  - name: dns-update-error
    inject:
      type: resolver-error
    expect:
      alertRequired: true
      recoverAfterValidUpdate: true

  - name: invalid-xds-update
    inject:
      type: xds-invalid-resource
    expect:
      nackRequired: true
      keepLastAcceptedConfig: true

该规格生效后的验证方式是:harness 先采集健康基线,再按 inject 制造单一故障,并依据 expect 断言故障窗口与恢复阶段。retryable-unavailable 是确定性场景:前两次 attempt 固定返回 UNAVAILABLE,第三次停止注入,因此最终结果必须为 OK。如果把 UNAVAILABLE 也列入允许结果,即使客户端根本没有发起第三次 attempt,也可能被错误判定为通过。

最终返回 OK 仍不足以单独证明测试成功。若实际 attempt 超过三次,或非幂等写操作产生重复副作用,同样必须判失败。

控制变量避免假阳性

延迟测试必须固定客户端 deadline,否则无法判断超时来自治理策略还是测试环境抖动。连接重置与实例宕机也要分开:前者主要破坏已有传输,后者还会影响后续建连、健康后端数量和服务发现,预期状态变化不同。

DNS 与 xDS 用例还应记录故障发生前是否已有可用连接。warm channel 下,解析或控制面异常未必立即让数据面不可用;cold channel 或必须重连时,影响通常更明显。因此关键发现类故障至少应覆盖这两种起点。

用恢复阶段完成闭环

每个用例都应经历健康基线、故障窗口和恢复窗口三个阶段。撤销故障后,至少确认成功率回到基线、READY 后端数恢复、错误率和 retry attempt 不再持续增长,并且没有遗留错误的 DNS 或 xDS 状态以及无法恢复的连接。

当测试矩阵能够稳定回答“故障发生时允许出现什么、最多持续多久、解除后必须恢复到什么状态”,重试、负载均衡与连接治理才真正成为可持续验证的可靠性契约。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

设计故障注入测试矩阵

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通