架构与系统设计 / 系统课时

建立方法级可靠性策略矩阵

建立方法级可靠性策略矩阵

这节课把统一的重试默认值收敛为可执行的方法级发布门禁。最终要得到一张能直接用于评审、压测和回滚的策略矩阵:每个 RPC 都明确 Deadline 来源、可重试状态码、最大 attempt、Retry Budget、Hedging 条件、容量保护、停用阈值和责任人。

学习目标

  • 用幂等性、时延预算、调用成本和业务优先级给 RPC 方法分类
  • 把 Retry、Hedging、负载均衡与过载保护转换为可验证的发布参数
  • 区分方法级 Service Config、Channel 级负载均衡和外部容量治理的职责边界

先把业务语义变成可计算字段

同一个 gRPC Service 中的 GetProduct、Search、CreateOrder 和 CapturePayment 不应共享一套可靠性默认值。评审至少要回答四个问题:调用能否安全重复、本跳可消费多少端到端时延、额外 attempt 的资源成本是多少,以及过载时哪类流量应该先被限制。

Retry Budget 需要统一计算口径。可在 5 分钟滚动窗口内记录 extra_attempts = total_attempts - logical_rpcs,再计算 extra_attempts / logical_rpcs。例如预算为 5%,表示每 100 个逻辑 RPC 最多允许产生 5 个额外 attempt,而不是允许每个请求都额外重试一次。这个预算不是 gRPC Service Config 的原生字段,需要由客户端指标与限流逻辑执行。

把策略写成发布矩阵

下面是一组可审查的示例值,用来展示门禁应精确到什么程度。生产环境必须用真实 SLO、容量压测和故障注入结果替换这些数值。

RPC Deadline 与来源 Retry Retry Budget Hedging LB 与容量保护 停用阈值 责任人
GetProduct 250 ms:端到端 300 ms,给上游预留 50 ms 仅 UNAVAILABLE;maxAttempts=2;初始退避 50 ms,最大 100 ms 任意 5 分钟窗口额外 attempt ≤ 5% 默认关闭;试点时 hedgingDelay=60ms、maxAttempts=2、nonFatalStatusCodes=[UNAVAILABLE];并发配额使用率 ≤ 70% 才允许开启 catalog-read Channel 使用 round_robin;客户端并发上限 200 连续 2 个 5 分钟窗口预算 > 5%,或后端拒绝率 > 1%,立即关闭 Retry/Hedging Catalog 负责人 + SRE
Search 800 ms:查询 SLO 1 s,给上游预留 200 ms 关闭,不配置 retryPolicy 0% 关闭 catalog-read Channel;并发上限 40 排队时延 P95 > 100 ms 持续 5 分钟时将并发上限降到 20,并触发容量告警 Search 负责人 + SRE
CreateOrder 1.5 s:业务确认窗口 2 s,给下游预留 500 ms 只有幂等键和服务端去重测试通过后才允许 UNAVAILABLE、maxAttempts=2;否则关闭 任意 5 分钟窗口额外 attempt ≤ 1% 关闭 独立 order-write Channel;并发上限 80 出现 1 次重复副作用,或任意 5 分钟窗口预算 > 1%,立即关闭 Retry Order 负责人
CapturePayment 2 s:支付确认窗口 3 s,给上游与对账预留 1 s 关闭;网络失败不能证明服务端没有执行 0% 关闭 独立 payment-write Channel;并发上限 20,达到上限时快速失败 后端拒绝率 > 1%,或确认延迟 P99 > 1.5 s 持续 5 分钟,停止扩流并进入降级 Payment 负责人 + SRE

Retry 与 Hedging 是两种不同的流量放大机制。Retry 通常在前一个 attempt 失败后再发送下一次;Hedging 会在前一个 attempt 尚未结束时启动额外 attempt。同一个方法的 Service Config 中二者应互斥,因此做 Hedging 试点时应移除 retryPolicy,并独立观察并行 attempt 比例和容量占用。

把可落地部分写入 Service Config

Service Config 可以按方法配置 timeout、Retry 或 Hedging,但负载均衡策略作用于目标对应的 Channel,不能在 methodConfig 内为不同方法直接切换 LB policy。由于矩阵中的写请求使用独立 Channel,下面只展示 catalog-read Channel 的主配置:GetProduct 允许一次配置型重试,Search 只保留 timeout。

json
{
  "loadBalancingConfig": [
    {
      "round_robin": {}
    }
  ],
  "methodConfig": [
    {
      "name": [
        {
          "service": "demo.v1.Catalog",
          "method": "GetProduct"
        }
      ],
      "timeout": "0.250s",
      "retryPolicy": {
        "maxAttempts": 2,
        "initialBackoff": "0.050s",
        "maxBackoff": "0.100s",
        "backoffMultiplier": 2.0,
        "retryableStatusCodes": [
          "UNAVAILABLE"
        ]
      }
    },
    {
      "name": [
        {
          "service": "demo.v1.Catalog",
          "method": "Search"
        }
      ],
      "timeout": "0.800s"
    }
  ]
}

maxAttempts=2 包含初始 attempt,因此最多只增加 1 个配置型重试。Search 没有 retryPolicy,不会因为 UNAVAILABLE 获得这套显式重试策略。Retry Budget、并发上限和停用阈值同样不会由这份 JSON 自动执行,需要结合客户端指标、限流器、网关或服务网格实现。

假设配置保存为 service-config.json,先验证 JSON 语法以及关键发布参数,再进入预发布故障注入。语法和字段校验通过,只能证明配置文件符合预期,不能替代幂等性与容量验证。

bash
jq -e '
  .loadBalancingConfig[0].round_robin == {} and
  .methodConfig[0].retryPolicy.maxAttempts == 2 and
  .methodConfig[0].retryPolicy.retryableStatusCodes == ["UNAVAILABLE"] and
  .methodConfig[1].retryPolicy == null
' service-config.json >/dev/null && echo VALID

预期输出:

text
VALID

让矩阵成为真正的发布门禁

上线前要把矩阵中的每个阈值绑定到可观察证据。对 Retry,注入受控的 UNAVAILABLE,同时检查逻辑 RPC 数、总 attempt 数、额外 attempt 比例和 P99;对 Hedging,额外记录并行 attempt 比例与并发配额使用率;对非幂等写入,则验证网络超时和连接中断都不会触发未经批准的自动重放。

停用条件也必须可执行。当 Retry Budget 越界、后端拒绝率超过阈值、出现任何重复副作用,或 Hedging 的容量门槛不再满足时,应由自动化开关或表中责任人关闭对应 Retry/Hedging,同时保留 Deadline 和过载保护。这样这张矩阵才能承担生产发布门禁,而不是停留在方向性建议。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

建立方法级可靠性策略矩阵

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通