架构与系统设计 / 系统课时
选择权重与亲和性策略
选择权重与亲和性策略
负载均衡策略要先匹配目标:是让同构实例尽量均匀接收 RPC,按后端实时能力动态倾斜流量,还是让同一业务键尽量命中同一实例。本课用 weighted_round_robin 与 ring_hash_experimental 对比这三类目标,并说明它们最容易出现的分布偏差。
学习目标
- 区分均匀分流、动态权重和键亲和三类目标
- 理解 grpc-go
weighted_round_robin的负载报告来源与ring_hash_experimental的请求键 - 识别负载报告失真、热点键和长生命周期 Stream 带来的偏差
先按目标选择策略
round_robin 适合实例能力接近、单次 RPC 成本差异不大的服务;weighted_round_robin 适合后端实时利用率明显不同、且能提供可信负载报告的场景;ring hash 用一致性哈希换取局部性,适合缓存命中或弱亲和需求。
| 策略 | 主要目标 | 关键输入 | 典型风险 |
|---|---|---|---|
round_robin |
在 READY Endpoint 间轮转 RPC | 可用 Endpoint 集合 | RPC 数量均匀不代表 CPU、字节数或耗时均匀 |
weighted_round_robin |
按后端负载反馈动态倾斜 | ORCA 负载报告等运行时指标 | 指标缺失、陈旧或失真会产生错误权重 |
ring_hash_experimental |
同一请求键尽量稳定命中同一 Endpoint | 请求 hash 与成员集合 | 热点键、成员变化和故障切换会破坏均匀性 |

用 service config 表达两类策略
weighted_round_robin 不是把实例 A、B 手工配置成固定的 3:1。以 grpc-go v1.83.0 为例,它根据后端提供的 ORCA 负载报告计算 Endpoint 权重:默认使用 per-RPC 报告,也可以显式启用 out-of-band 报告。blackoutPeriod 控制新负载数据积累多久后才参与权重计算,weightExpirationPeriod 控制多久未收到新报告后将旧权重视为过期,weightUpdatePeriod 控制调度权重的重算周期。
ring hash 则把请求键哈希到环上的 Endpoint。成员集合稳定时,同一个键通常会命中同一后端;成员变化或目标 Endpoint 不可用时会沿环选择后续可用 Endpoint,因此它提供的是亲和性,而不是强会话绑定。grpc-go v1.82.0 起默认启用 A76 的 requestHashHeader 支持,可以直接从请求 metadata 中读取业务键。
片段示例:以下代码依赖调用方把对应 service config 传给 ClientConn;它用于展示策略配置与请求键写法,不是独立可运行程序。
package lbconfig
import (
"context"
_ "google.golang.org/grpc/balancer/ringhash"
_ "google.golang.org/grpc/balancer/weightedroundrobin"
"google.golang.org/grpc/metadata"
)
const WRRServiceConfig = `{
"loadBalancingConfig": [{
"weighted_round_robin": {
"blackoutPeriod": "10s",
"weightExpirationPeriod": "180s",
"weightUpdatePeriod": "1s",
"errorUtilizationPenalty": 1
}
}]
}`
const RingHashServiceConfig = `{
"loadBalancingConfig": [{
"ring_hash_experimental": {
"requestHashHeader": "x-tenant-id"
}
}]
}`
func WithTenant(ctx context.Context, tenantID string) context.Context {
// 亲和键应稳定且分布足够分散,避免随机请求 ID 或少数超大租户制造热点。
return metadata.AppendToOutgoingContext(ctx, "x-tenant-id", tenantID)
}预期结果:启用 WRR 后,请求份额会随有效负载报告调整,而不是长期固定为某个比例;启用 ring hash 并持续发送相同的 x-tenant-id 时,拓扑稳定情况下请求应高度集中到同一 Endpoint。若请求没有该 header,grpc-go 会为该次选择生成随机 hash,因此不能获得稳定亲和。
用观测验证而不是猜比例
验证 WRR 时,不要只看“某实例拿到多少请求”,还要同时看 Endpoint 的利用率、错误率、延迟与请求份额是否随负载报告合理变化。没有可用权重、处于 blackout 窗口或权重已过期时,WRR 会退化到更接近 round robin 的分配;若后端不能持续提供可信指标,动态加权的收益就很有限。
验证 ring hash 时,先用同一个业务键连续请求并记录服务端实例 ID,再换一批不同键检查整体分布。亲和键应稳定且拥有足够基数;如果少量大租户占据大部分流量,一致性哈希会把业务热点直接变成实例热点,此时应细化键、拆分热点租户,或放弃亲和策略。
不要用连接数判断是否均衡
gRPC 在 HTTP/2 连接上复用多个 RPC,负载均衡发生在 call 选择阶段,而不是按网络连接数平均分流。Unary RPC 会不断产生新的选择机会;一个长生命周期 Streaming RPC 通常在建流时选定 Endpoint,后续消息继续走同一条 Stream,因此连接数相同也可能出现 CPU、字节数和活跃 Stream 数严重不均。
没有亲和需求且实例同构时,优先从 round_robin 开始;只有后端能提供可信负载反馈时再考虑 weighted round robin;只有缓存局部性或业务键亲和确实带来收益时才使用 ring hash,并用真实键分布压测热点风险。