架构与系统设计 / 系统课时

通道健康降级

通道健康降级

本课把通道健康指标转成可执行的路由状态:健康通道保持原权重,性能下降的通道自动降权,明确故障的通道退出候选集,并给出恢复与验收方法。

学习目标

  • 使用成功率、平均响应时间和故障开关判定通道状态
  • 实现健康、降级、下线三档动态权重
  • 设计防抖、恢复和验证机制

从指标得到健康状态

健康判断不应依赖单笔请求,而应读取最近一个统计窗口,例如最近 1 分钟或最近 100 笔交易。窗口内至少汇总成功率、平均响应时间和连续故障信息,再生成供路由器读取的健康快照。

本课采用三种状态:HEALTHY 正常参与路由,DEGRADED 保留少量流量用于观察,DOWN 权重归零并退出选择。故障开关可代表人工停用、熔断器打开或探测失败。

通道健康状态转换图

设定降级阈值

示例规则如下。真实阈值应按通道类型和历史基线配置,不宜让所有银行卡、钱包和跨境通道共用同一组数值。

状态 判定条件 路由动作
HEALTHY 成功率不低于 90%,且平均延迟不高于 1200 毫秒 保留基础权重
DEGRADED 成功率低于 90%,或平均延迟高于 1200 毫秒 权重降为 10%
DOWN 成功率低于 70%、延迟高于 3000 毫秒,或故障开关已打开 权重归零

多个条件同时出现时取最严重状态。这样可避免一个已经熔断的通道仅因历史平均成功率较高而继续接收新请求。

实现动态权重

下面的完整程序把指标转换为状态,再计算有效权重。降级通道仍保留最小权重,便于观察是否恢复;下线通道的有效权重为 0,路由器应将其排除。

java
import java.util.List;

public class ChannelHealthDemo {

    enum HealthState {
        HEALTHY, DEGRADED, DOWN
    }

    record Metrics(
            double successRate,
            long averageLatencyMs,
            boolean faultOpen) {}

    record Channel(
            String code,
            int baseWeight,
            Metrics metrics) {}

    static HealthState evaluate(Metrics metrics) {
        if (metrics.faultOpen()
                || metrics.successRate() < 0.70
                || metrics.averageLatencyMs() > 3_000) {
            return HealthState.DOWN;
        }
        if (metrics.successRate() < 0.90
                || metrics.averageLatencyMs() > 1_200) {
            return HealthState.DEGRADED;
        }
        return HealthState.HEALTHY;
    }

    static int effectiveWeight(Channel channel) {
        return switch (evaluate(channel.metrics())) {
            case HEALTHY -> channel.baseWeight();
            case DEGRADED ->
                    Math.max(1, channel.baseWeight() / 10);
            case DOWN -> 0;
        };
    }

    public static void main(String[] args) {
        List<Channel> channels = List.of(
                new Channel(
                        "channel-a", 70,
                        new Metrics(0.98, 320, false)),
                new Channel(
                        "channel-b", 30,
                        new Metrics(0.84, 860, false)),
                new Channel(
                        "channel-c", 50,
                        new Metrics(0.65, 400, false)),
                new Channel(
                        "channel-d", 40,
                        new Metrics(0.99, 280, true))
        );

        for (Channel channel : channels) {
            HealthState state = evaluate(channel.metrics());
            System.out.printf(
                    "%s state=%s effectiveWeight=%d%n",
                    channel.code(),
                    state,
                    effectiveWeight(channel));
        }
    }
}

预期输出:

text
channel-a state=HEALTHY effectiveWeight=70
channel-b state=DEGRADED effectiveWeight=3
channel-c state=DOWN effectiveWeight=0
channel-d state=DOWN effectiveWeight=0

channel-b 因成功率低于 90% 被降权,channel-c 因成功率低于 70% 下线,channel-d 则由故障开关直接下线。输出结果可直接作为权重路由器的输入。

接入路由与恢复机制

健康计算器应按固定周期更新快照,路由请求只读取快照,避免每笔支付都实时聚合指标。更新时使用原子替换或不可变对象,防止路由线程读到一半更新的数据。

恢复条件应比降级条件更严格,例如连续 3 个窗口达到健康阈值后才升级状态。DOWN 不宜直接恢复为 HEALTHY,可先进入 DEGRADED 承接少量流量,确认真实交易成功后再完全恢复,这就是状态回滞。

当全部通道都为 DOWN 时,系统应快速失败并记录可定位的原因;不要把请求继续发送给已确认故障的通道,也不要无限重试造成雪崩。

验证降级是否生效

验证时先构造正常、轻度异常和严重故障三组指标,确认状态与有效权重符合规则。随后观察路由统计:降级通道流量应明显减少,下线通道命中数必须为 0,恢复后权重应按预期逐步回升。

同时记录状态变更时间、触发指标、旧状态和新状态。实际时间、窗口编号和实例标识可能不同,可在日志中使用 <TIME>、<ID> 等动态值占位。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

通道健康降级

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通