架构与系统设计 / 系统课时
使用 Hedging 控制尾延迟
使用 Hedging 控制尾延迟
Hedging 会在前一个 attempt 尚未结束时主动发出副本,用可控的额外流量换取更低尾延迟。本节重点掌握 A6 规范中的触发时序、延迟选择与上线边界,并明确课程固定的 grpc-go 1.83.x 仍未实现并发 Hedging,不能把配置写入当成策略已经生效。
学习目标
- 理解
maxAttempts、hedgingDelay与nonFatalStatusCodes如何共同决定 Hedging 时序 - 能根据尾延迟分布和容量余量选择 Hedging 延迟
- 能识别 grpc-go 1.83.x 的实现边界,避免对未执行的策略做错误验收
Hedging 的并发语义
Hedging 与普通 Retry 的核心区别是不等待前一次失败再重试。第一个 attempt 立即发送;经过 hedgingDelay 仍未得到成功结果时,客户端可再发一个 attempt,直到成功、遇到致命状态、达到 maxAttempts 或整个 RPC Deadline 到期。任一 attempt 成功后,其余未完成 attempt 会被取消。

同一方法不能同时配置 Retry Policy 与 Hedging Policy。若某个 attempt 返回 nonFatalStatusCodes 中的状态,规范允许立即发送下一个尚未发出的 hedge,跳过本轮剩余延迟;若返回未列入其中的非 OK 状态,则取消其他 hedge 并把错误返回给应用。
用 Service Config 表达规范策略
下面的配置表达:一个 Search RPC 最多有三个 attempt,首次立即发送,之后每隔 80 ms 最多再启动一个副本,并把 UNAVAILABLE 视为非致命状态。maxAttempts=3 包含首次 attempt,因此最多只会产生两个额外 hedge。
{
"retryThrottling": {
"maxTokens": 10,
"tokenRatio": 0.1
},
"methodConfig": [
{
"name": [
{
"service": "catalog.v1.SearchService",
"method": "Search"
}
],
"timeout": "2s",
"hedgingPolicy": {
"maxAttempts": 3,
"hedgingDelay": "0.08s",
"nonFatalStatusCodes": [
"UNAVAILABLE"
]
}
}
]
}在实现 A6 Hedging 的客户端中,首个 Search 立即发送;80 ms 后仍未成功则发第二个,再过 80 ms 仍未成功才发第三个。retryThrottling 用于在失败比例升高时抑制后续重试或 hedge。这段 JSON 只说明规范期望,不代表 grpc-go 1.83.x 会执行并发 Hedging。
grpc-go 1.83.x 不能直接验证并发 Hedging
课程主线固定使用 grpc-go 1.83.x。该版本的 stream.go 仍保留 TODO(hedging): hedging will have multiple attempts simultaneously.,而当前 client stream 仍围绕单个活动 attempt 组织。因此,本课不能承诺在课程工程里观察到两个或三个并发 attempt,也不能把 Service Config 能被提供给客户端当成 Hedging 已生效的证据。
若 go.mod 已固定 google.golang.org/grpc v1.83.0,可以直接检查当前依赖版本与源码:
go list -m google.golang.org/grpc
grpc_dir="$(go list -m -f '{{.Dir}}' google.golang.org/grpc)"
grep -F 'TODO(hedging): hedging will have multiple attempts simultaneously.' "$grpc_dir/stream.go"预期输出:
google.golang.org/grpc v1.83.0
// TODO(hedging): hedging will have multiple attempts simultaneously.若第一行不是 v1.83.0,说明实际依赖与课程基线不同,应先核对模块版本再判断能力。若要做真实尾延迟实验,应换用明确实现 A6 Hedging 的客户端运行时,并重新核对其版本、配置入口与观测指标。
用延迟分布约束额外流量
hedgingDelay 应从未启用 Hedging时的真实延迟分布出发。设置过小,大量本来会正常完成的请求会被复制;设置过大,又来不及改善 P99。对只允许一次额外 hedge 的近似场景,副本触发比例通常与 同阶,其中 是首个 attempt 的完成时间, 是 Hedging 延迟。
例如约 2% 的请求超过 120 ms,可以先把 hedgingDelay 放在 120 ms 附近做小流量实验,再观察 attempt/调用比和后端利用率。真实额外流量还受非致命错误提前触发、取消传播、负载均衡和服务端延迟分布影响,不能只按单个分位点静态估算。
上线门槛与验收
Hedging 可能让同一个逻辑 RPC 在服务端并发执行多次,而取消信号无法撤销已经发生的副作用。因此它优先用于只读、无副作用或严格幂等的方法;写操作只有具备稳定幂等键、服务端去重和清晰事务边界时才应考虑。
容量评估应看 attempt QPS,而不只是业务调用 QPS。真实支持 Hedging 的运行时上线前后至少比较 P95/P99、平均 attempt 数、后端 QPS、CPU、连接池利用率与错误率。若 P99 下降但 attempt/调用比持续攀升,策略可能过激;若后端本就饱和,应先处理容量或慢依赖,而不是继续缩短 hedgingDelay。