架构与系统设计 / 系统课时

用 Outlier Detection 摘除异常实例

用 Outlier Detection 摘除异常实例

当某个 gRPC 实例端口仍可连接,却持续超时、reset 或返回错误时,主动健康检查可能仍判定它“存活”。Outlier Detection 根据真实请求结果被动识别异常主机,将其临时排除在负载均衡选择之外,并在摘除时间结束后重新加入服务。

学习目标

  • 区分连续上游错误、成功率异常与本地连接失败三类检测信号
  • 为 Envoy Cluster 配置有边界的被动摘除策略
  • 通过 Admin 统计验证实例被摘除以及自动恢复

被动摘除保护的是什么

Outlier Detection 关注的不是进程是否存活,而是数据面请求是否持续表现异常。实例即使端口可连,也可能因线程池耗尽、下游依赖故障或应用错误持续失败;被动检测可以依据真实流量把这类实例暂时标记为异常,并停止向它分配正常请求。

开启 split_external_local_origin_errors 后,Envoy 会分别统计上游返回导致的外部错误,以及连接失败、连接超时、reset 等由本地数据面观察到的 local-origin failure。这样可以避免把应用错误和网络、进程级故障混在同一个连续失败阈值里。

Outlier Detection 从异常检测到自动恢复的生命周期

选择检测信号

连续错误适合快速处理“某个实例突然坏掉”的情况:consecutive_5xx 达到阈值后可以触发外部错误摘除;如果主要关注连接建立失败、超时或 reset,则在拆分错误来源后使用 consecutive_local_origin_failure 更直接。

成功率检测适合发现“没有完全失效,但明显比同组实例差”的灰色故障。它需要足够的横向样本:达到请求量门槛的实例数必须满足 success_rate_minimum_hosts,并且单实例请求量达到 success_rate_request_volume,统计判断才会运行。因此只有两三个实例或流量很低的集群不应依赖成功率检测作为主要摘除机制。

配置一套可控策略

下面是 Cluster 内的片段示例,需要合入现有 Envoy Cluster 配置,或通过 CDS/xDS 下发同名字段。数值用于演示机制,不应直接作为生产默认值。

yaml
outlier_detection:
  split_external_local_origin_errors: true
  consecutive_5xx: 5
  consecutive_local_origin_failure: 5
  interval: 5s
  base_ejection_time: 30s
  max_ejection_time: 120s
  max_ejection_percent: 50
  enforcing_consecutive_5xx: 100
  enforcing_consecutive_local_origin_failure: 100
  success_rate_minimum_hosts: 5
  success_rate_request_volume: 50
  success_rate_stdev_factor: 1900
  enforcing_success_rate: 100

base_ejection_time 控制基础摘除时长,实例反复成为异常点时摘除时间可递增,并受 max_ejection_time 限制。max_ejection_percent 限制一个 Cluster 同时可被摘除的主机比例;达到上限后,即使检测到新的异常,也可能因为容量保护而不执行摘除。success_rate_stdev_factor: 1900 表示成功率阈值计算使用 1.9 倍标准差。

将片段合入完整配置后,先验证 Envoy 能否加载配置:

bash
envoy --mode validate -c /etc/envoy/envoy.yaml

预期输出最后一行类似:

text
configuration '/etc/envoy/envoy.yaml' OK

实际日志前缀和附加行可能因 Envoy 版本不同而变化。配置校验成功只说明字段和结构可被加载,不代表阈值适合真实流量,还需要通过故障注入观察摘除行为。

验证摘除与自动恢复

在测试环境中让一个实例持续产生会被异常检测计入失败的请求,或制造连接失败,同时保持其他实例正常。随后直接查询 Envoy Admin 的 Outlier Detection 指标;URL 必须是实际 Admin 地址,不能把 Markdown 链接语法写进 shell 字符串。

bash
curl -sG 'http://127.0.0.1:9901/stats' --data-urlencode 'filter=^cluster\.orders\.outlier_detection'

预期输出会包含与当前 Cluster 状态对应的统计项,计数属于运行时动态值:

text
cluster.orders.outlier_detection.ejections_active: <VALUE>
cluster.orders.outlier_detection.ejections_enforced_total: <VALUE>
cluster.orders.outlier_detection.ejections_enforced_consecutive_5xx: <VALUE>

故障达到阈值并真正触发摘除后,ejections_enforced_total 应增长,摘除期间 ejections_active 应大于 0。停止故障并等待摘除时间结束后,主机会重新具备参与负载均衡的资格,ejections_active 随之回落。

如果同时启用了主动健康检查,还要注意成功的主动检查可能提前解除异常摘除。验证时应确认主动检查与被动检测表达的是一致的健康语义,否则一个仍在返回业务错误的实例可能因为端口探测成功而过早回到流量路径。

避免把摘除变成新故障

阈值过敏会让短暂抖动频繁触发摘除,阈值过钝又会让坏实例持续接收流量。生产调参应同时观察单实例错误率、摘除次数、ejections_overflow、剩余可用实例数和整体延迟,并确认摘除后的容量仍能承载正常流量。

小规模集群尤其要关注 max_ejection_percent。上限过低时,Envoy 即使识别出异常,也可能因为比例限制而保留故障实例。Outlier Detection 的目标不是尽可能多地摘除主机,而是在异常隔离和剩余服务容量之间建立可自动恢复的边界。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

用 Outlier Detection 摘除异常实例

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通