架构与系统设计 / 系统课时

设计 Locality、Priority 与故障转移

设计 Locality、Priority 与故障转移

这节把“同区优先、跨区容灾”落实到 xDS 的 EDS 层级:先用 Priority 决定当前可参与服务的故障域,再用 Locality 权重分配同一优先级内的流量,最后通过连续 RPC 的 peer 分布验证局部故障、整层故障和恢复后的迁移路径。

学习目标

  • 能区分 Priority 的故障转移语义与 Locality 权重的同层分流语义。
  • 能设计包含主地域、邻近地域和跨区备用端点的 ClusterLoadAssignment。
  • 能用 peer 分布验证局部故障不会过早跨区,以及高优先级失效后会切换到备用层。

先把两层选择关系分开

Priority 是外层:数值越小优先级越高,客户端优先使用最高可服务的层;正常情况下不会把请求按比例同时分给 Priority 0 和 Priority 1。Locality 是内层:只有进入某个 Priority 后,才会按该层各 locality 的相对权重分流。

xDS Locality 权重与 Priority 故障转移层级

Locality 权重是相对权重。例如 80 和 20 表示在同一可用 Priority 内大致按 80:20 分配,而不是给某个地域永久保留 80% 的全局流量。某个 locality 不可服务后,剩余可用 locality 会继续承担该优先级内的请求。

设计 EDS 端点层级

下面是控制面最终下发的 ClusterLoadAssignment 的 YAML 等价片段,不是让 gRPC 客户端直接读取的本地配置文件。实验用三个本机端口模拟三个地域:主 locality 权重 80、同优先级邻近 locality 权重 20、跨区域备用位于 Priority 1。

yaml
cluster_name: payments
endpoints:
  - locality:
      region: us-west1
      zone: us-west1-a
      sub_zone: primary
    priority: 0
    load_balancing_weight: 80
    lb_endpoints:
      - health_status: HEALTHY
        endpoint:
          address:
            socket_address:
              address: 127.0.0.1
              port_value: 50051
  - locality:
      region: us-west1
      zone: us-west1-b
      sub_zone: neighbor
    priority: 0
    load_balancing_weight: 20
    lb_endpoints:
      - health_status: HEALTHY
        endpoint:
          address:
            socket_address:
              address: 127.0.0.1
              port_value: 50052
  - locality:
      region: us-central1
      zone: us-central1-a
      sub_zone: disaster-recovery
    priority: 1
    load_balancing_weight: 100
    lb_endpoints:
      - health_status: HEALTHY
        endpoint:
          address:
            socket_address:
              address: 127.0.0.1
              port_value: 50053

这份设计的关键不是三个端点,而是层级:50051 与 50052 同属 Priority 0,可以在主层内部按权重分流;50053 属于 Priority 1,只在更高优先级无法服务时接管。Priority 应从 0 连续递增,避免 0、2 这样的空洞层级;同一 Priority 内的 locality 标识也应保持唯一。

用 peer 分布验证正常与故障状态

验证程序调用标准 gRPC Health 服务,并统计 200 次 RPC 实际命中的远端地址。它假设 bootstrap 已指向控制面,三个后端均提供 Health 服务,业务目标为 xds:///payments。

go
package main

import (
    "context"
    "fmt"
    "log"
    "time"

    "google.golang.org/grpc"
    xdscreds "google.golang.org/grpc/credentials/xds"
    "google.golang.org/grpc/credentials/insecure"
    healthpb "google.golang.org/grpc/health/grpc_health_v1"
    "google.golang.org/grpc/peer"
    _ "google.golang.org/grpc/xds"
)

func main() {
    creds, err := xdscreds.NewClientCredentials(xdscreds.ClientOptions{
        FallbackCreds: insecure.NewCredentials(),
    })
    if err != nil {
        log.Fatal(err)
    }

    conn, err := grpc.NewClient(
        "xds:///payments",
        grpc.WithTransportCredentials(creds),
    )
    if err != nil {
        log.Fatal(err)
    }
    defer conn.Close()

    client := healthpb.NewHealthClient(conn)
    counts := map[string]int{}
    failures := 0

    for i := 0; i < 200; i++ {
        ctx, cancel := context.WithTimeout(context.Background(), time.Second)
        var p peer.Peer
        _, err := client.Check(ctx, &healthpb.HealthCheckRequest{}, grpc.Peer(&p))
        cancel()

        if err != nil {
            failures++
            continue
        }
        if p.Addr != nil {
            counts[p.Addr.String()]++
        }
        time.Sleep(20 * time.Millisecond)
    }

    for _, addr := range []string{
        "127.0.0.1:50051",
        "127.0.0.1:50052",
        "127.0.0.1:50053",
    } {
        fmt.Printf("%s => %d\n", addr, counts[addr])
    }
    fmt.Printf("errors => %d\n", failures)
}

预期结果:程序完成一轮采样后输出三个已知端点的命中计数和失败数;具体计数取决于当前故障阶段、连接状态和策略收敛情况。

运行程序:

bash
export GRPC_XDS_BOOTSTRAP="$PWD/bootstrap.json"
go run .

预期输出:

text
127.0.0.1:50051 => <VALUE>
127.0.0.1:50052 => <VALUE>
127.0.0.1:50053 => <VALUE>
errors => <VALUE>

这里的 <VALUE> 必须按阶段解释,不能要求每轮得到完全相同的计数。200 次请求只是让权重趋势更容易观察,连接状态、请求时序和负载均衡实现都会让小样本出现波动。

按故障层级做三阶段验收

先保持三个后端都健康并运行统计程序;随后停止 50051 对应后端,再采样一次;最后让 50051 与 50052 都不可服务,再运行第三次。每个阶段都应等待客户端完成必要的连接与优先级收敛后,再判断长期分布。

阶段 50051 主 locality 50052 邻近 locality 50053 跨区备用 应看到的现象
全部健康 约 80% 约 20% 0 只使用 Priority 0
主 locality 故障 0 或接近 0 接近 100% 0 仍留在 Priority 0
Priority 0 全部故障 0 0 接近 100% 切到 Priority 1

Priority 的切换受子策略连接状态和故障转移状态机影响,因此故障刚发生时允许出现短暂错误或过渡流量;验收重点是稳定后是否遵守层级,而不是故障后的第一条 RPC 是否立即命中备用端点。

避免把容灾配置成常态跨区

如果目标是“同区域优先、跨区域只兜底”,就不要把跨区域 locality 放进 Priority 0 后再给一个很小权重;那会把灾备链路变成常态流量路径。可长期共同承载的地域应放在同一 Priority,用权重表达偏好;真正的灾备地域则放到更低优先级。

恢复测试同样不能省略。让 Priority 0 后端重新可服务后,客户端应重新选择更高优先级;若长期停留在 Priority 1,应检查控制面是否恢复了正确的 EDS 端点与健康状态、端点是否真正可连,以及更高优先级子策略是否重新进入 READY。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

设计 Locality、Priority 与故障转移

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通