架构与系统设计 / 系统课时
建立方法级可靠性策略矩阵
建立方法级可靠性策略矩阵
这节课把统一的重试默认值收敛为可执行的方法级发布门禁。最终要得到一张能直接用于评审、压测和回滚的策略矩阵:每个 RPC 都明确 Deadline 来源、可重试状态码、最大 attempt、Retry Budget、Hedging 条件、容量保护、停用阈值和责任人。
学习目标
- 用幂等性、时延预算、调用成本和业务优先级给 RPC 方法分类
- 把 Retry、Hedging、负载均衡与过载保护转换为可验证的发布参数
- 区分方法级 Service Config、Channel 级负载均衡和外部容量治理的职责边界
先把业务语义变成可计算字段
同一个 gRPC Service 中的 GetProduct、Search、CreateOrder 和 CapturePayment 不应共享一套可靠性默认值。评审至少要回答四个问题:调用能否安全重复、本跳可消费多少端到端时延、额外 attempt 的资源成本是多少,以及过载时哪类流量应该先被限制。
Retry Budget 需要统一计算口径。可在 5 分钟滚动窗口内记录 extra_attempts = total_attempts - logical_rpcs,再计算 extra_attempts / logical_rpcs。例如预算为 5%,表示每 100 个逻辑 RPC 最多允许产生 5 个额外 attempt,而不是允许每个请求都额外重试一次。这个预算不是 gRPC Service Config 的原生字段,需要由客户端指标与限流逻辑执行。
把策略写成发布矩阵
下面是一组可审查的示例值,用来展示门禁应精确到什么程度。生产环境必须用真实 SLO、容量压测和故障注入结果替换这些数值。
| RPC | Deadline 与来源 | Retry | Retry Budget | Hedging | LB 与容量保护 | 停用阈值 | 责任人 |
|---|---|---|---|---|---|---|---|
GetProduct |
250 ms:端到端 300 ms,给上游预留 50 ms | 仅 UNAVAILABLE;maxAttempts=2;初始退避 50 ms,最大 100 ms |
任意 5 分钟窗口额外 attempt ≤ 5% | 默认关闭;试点时 hedgingDelay=60ms、maxAttempts=2、nonFatalStatusCodes=[UNAVAILABLE];并发配额使用率 ≤ 70% 才允许开启 |
catalog-read Channel 使用 round_robin;客户端并发上限 200 |
连续 2 个 5 分钟窗口预算 > 5%,或后端拒绝率 > 1%,立即关闭 Retry/Hedging | Catalog 负责人 + SRE |
Search |
800 ms:查询 SLO 1 s,给上游预留 200 ms | 关闭,不配置 retryPolicy |
0% | 关闭 | catalog-read Channel;并发上限 40 |
排队时延 P95 > 100 ms 持续 5 分钟时将并发上限降到 20,并触发容量告警 | Search 负责人 + SRE |
CreateOrder |
1.5 s:业务确认窗口 2 s,给下游预留 500 ms | 只有幂等键和服务端去重测试通过后才允许 UNAVAILABLE、maxAttempts=2;否则关闭 |
任意 5 分钟窗口额外 attempt ≤ 1% | 关闭 | 独立 order-write Channel;并发上限 80 |
出现 1 次重复副作用,或任意 5 分钟窗口预算 > 1%,立即关闭 Retry | Order 负责人 |
CapturePayment |
2 s:支付确认窗口 3 s,给上游与对账预留 1 s | 关闭;网络失败不能证明服务端没有执行 | 0% | 关闭 | 独立 payment-write Channel;并发上限 20,达到上限时快速失败 |
后端拒绝率 > 1%,或确认延迟 P99 > 1.5 s 持续 5 分钟,停止扩流并进入降级 | Payment 负责人 + SRE |
Retry 与 Hedging 是两种不同的流量放大机制。Retry 通常在前一个 attempt 失败后再发送下一次;Hedging 会在前一个 attempt 尚未结束时启动额外 attempt。同一个方法的 Service Config 中二者应互斥,因此做 Hedging 试点时应移除 retryPolicy,并独立观察并行 attempt 比例和容量占用。
把可落地部分写入 Service Config
Service Config 可以按方法配置 timeout、Retry 或 Hedging,但负载均衡策略作用于目标对应的 Channel,不能在 methodConfig 内为不同方法直接切换 LB policy。由于矩阵中的写请求使用独立 Channel,下面只展示 catalog-read Channel 的主配置:GetProduct 允许一次配置型重试,Search 只保留 timeout。
{
"loadBalancingConfig": [
{
"round_robin": {}
}
],
"methodConfig": [
{
"name": [
{
"service": "demo.v1.Catalog",
"method": "GetProduct"
}
],
"timeout": "0.250s",
"retryPolicy": {
"maxAttempts": 2,
"initialBackoff": "0.050s",
"maxBackoff": "0.100s",
"backoffMultiplier": 2.0,
"retryableStatusCodes": [
"UNAVAILABLE"
]
}
},
{
"name": [
{
"service": "demo.v1.Catalog",
"method": "Search"
}
],
"timeout": "0.800s"
}
]
}maxAttempts=2 包含初始 attempt,因此最多只增加 1 个配置型重试。Search 没有 retryPolicy,不会因为 UNAVAILABLE 获得这套显式重试策略。Retry Budget、并发上限和停用阈值同样不会由这份 JSON 自动执行,需要结合客户端指标、限流器、网关或服务网格实现。
假设配置保存为 service-config.json,先验证 JSON 语法以及关键发布参数,再进入预发布故障注入。语法和字段校验通过,只能证明配置文件符合预期,不能替代幂等性与容量验证。
jq -e '
.loadBalancingConfig[0].round_robin == {} and
.methodConfig[0].retryPolicy.maxAttempts == 2 and
.methodConfig[0].retryPolicy.retryableStatusCodes == ["UNAVAILABLE"] and
.methodConfig[1].retryPolicy == null
' service-config.json >/dev/null && echo VALID预期输出:
VALID让矩阵成为真正的发布门禁
上线前要把矩阵中的每个阈值绑定到可观察证据。对 Retry,注入受控的 UNAVAILABLE,同时检查逻辑 RPC 数、总 attempt 数、额外 attempt 比例和 P99;对 Hedging,额外记录并行 attempt 比例与并发配额使用率;对非幂等写入,则验证网络超时和连接中断都不会触发未经批准的自动重放。
停用条件也必须可执行。当 Retry Budget 越界、后端拒绝率超过阈值、出现任何重复副作用,或 Hedging 的容量门槛不再满足时,应由自动化开关或表中责任人关闭对应 Retry/Hedging,同时保留 Deadline 和过载保护。这样这张矩阵才能承担生产发布门禁,而不是停留在方向性建议。