架构与系统设计 / 系统课时
建立 Retry Budget
建立 Retry Budget
Retry Policy 规定一次 RPC 可以怎样重试,Retry Budget 则限制这些重试最多能放大多少流量。本课把原始请求量、首次可重试错误率和 maxAttempts 换算成额外尝试比例,并建立方法级审核、监控与自动停用规则。
学习目标
- 用原始请求量、可重试错误率和最大尝试次数估算重试流量上界。
- 为单个 gRPC 方法定义可审核的 Retry Budget 与停用阈值。
- 区分方法级 Retry Budget 与 gRPC
retryThrottling的职责。
把重试次数换算成额外流量
设一个观测窗口内有 个逻辑 RPC,首次尝试命中 retryableStatusCodes 的失败比例为 ,maxAttempts 为 。maxAttempts 包含首次尝试,因此每个进入配置型重试的 RPC 最多再产生 次尝试。
是配置型重试的保守上界。实际尝试数可能因提前成功、deadline、backoff、服务器 pushback 或重试节流而更低。这里的 必须统计首次尝试中允许重试的失败,不能把 INVALID_ARGUMENT 等不可重试错误混入分母计算。
例如 5 分钟内有 100000 个逻辑 RPC,maxAttempts=3,首次尝试的 UNAVAILABLE 比例为 2%,则最多增加 4000 次配置型尝试,总尝试数为 104000,最坏放大倍数为 1.04x。
给每个方法建立预算
最容易审核的预算口径是“额外尝试数 / 逻辑 RPC 数”。若方法允许的 Retry Budget 为 ,上线前可用下面的保守条件检查策略:
因此可反推出首次可重试错误率的停用阈值 。例如预算为 5%、maxAttempts=3 时,阈值为 2.5%;继续升高就可能让配置型重试突破预算。
下面用一个无第三方依赖的脚本固定这套计算,便于策略评审和发布门禁复用。
original_requests = 100_000
retryable_error_rate = 0.02
max_attempts = 3
retry_budget = 0.05
# max_attempts 包含首次尝试,额外尝试上限因此要减 1。
extra_attempts = original_requests * retryable_error_rate * (max_attempts - 1)
total_attempts = original_requests + extra_attempts
retry_ratio = extra_attempts / original_requests
amplification = total_attempts / original_requests
# 用预算反推首次可重试错误率的保守停用阈值。
stop_error_rate = retry_budget / (max_attempts - 1)
print(f"worst_extra_attempts={extra_attempts:.0f}")
print(f"worst_total_attempts={total_attempts:.0f}")
print(f"worst_amplification={amplification:.3f}x")
print(f"retry_ratio={retry_ratio:.2%}")
print(f"stop_error_rate={stop_error_rate:.2%}")
print("decision=" + ("PASS" if retry_ratio <= retry_budget else "REJECT"))预期输出
worst_extra_attempts=4000
worst_total_attempts=104000
worst_amplification=1.040x
retry_ratio=4.00%
stop_error_rate=2.50%
decision=PASS请求量会随观测窗口变化,但比例口径不变。评审记录至少应包含方法名、可重试状态码、maxAttempts、预算比例、观测窗口和停用条件,不能只写“失败重试三次”。
把预算落到 gRPC 策略
下面的 Service Config 允许 catalog.v1.Catalog/GetProduct 在 UNAVAILABLE 时最多执行 3 次尝试,并使用指数退避。它定义的是如何执行重试;5% 的方法级 Retry Budget 不是 Service Config 原生字段,仍需由遥测指标和发布控制实现。
{
"methodConfig": [
{
"name": [
{
"service": "catalog.v1.Catalog",
"method": "GetProduct"
}
],
"retryPolicy": {
"maxAttempts": 3,
"initialBackoff": "0.1s",
"maxBackoff": "1s",
"backoffMultiplier": 2,
"retryableStatusCodes": [
"UNAVAILABLE"
]
}
}
],
"retryThrottling": {
"maxTokens": 10,
"tokenRatio": 0.1
}
}单次 RPC 的 deadline 覆盖整个调用及其全部尝试,不会在每次重试时重新获得完整超时。retryThrottling 会在失败持续累积时抑制重试或 Hedging,但其状态按 server name 共享,因此不能表达“某个方法最多增加 5% 请求”这样的独立预算。验证时应注入可重试失败,并核对逻辑 RPC 数、总 attempt 数及额外 attempt 比例。
用在线指标决定收紧还是停用
上线后应直接计算每个方法的实际额外尝试比例,例如 (total_attempts - logical_rpcs) / logical_rpcs,并同时观察 UNAVAILABLE、P99、连接失败以及后端 CPU、队列和连接池饱和度。若客户端还会产生透明重试,容量治理时也应把这些额外 attempt 纳入实际流量成本,而不能只看配置型重试的理论值。
当滚动窗口内实际重试比例超过预算,或后端已因重试进入排队和资源饱和,应移除该方法的 retryPolicy,或回滚到不包含该 Retry Policy 的 Service Config。不要把 retryPolicy.maxAttempts 改成 1:该字段要求值大于 1,写成 1 不是合法的关闭方式。对于非幂等写操作,即使容量预算仍有余量,也必须先满足重复执行安全性,再考虑是否开启自动重试。