架构与系统设计 / 系统课时

用熔断隔离持续失败依赖

用熔断隔离持续失败依赖

下游已经持续报错或变慢时,继续把每个请求都打过去只会扩大超时、线程堆积和重试风暴。本节用一个可运行的熔断器状态机说明何时打开、怎样半开探测,以及恢复前必须满足什么条件。

学习目标

  • 根据失败率和慢调用判定是否需要打开熔断器
  • 解释关闭、打开、半开三种状态及转换条件
  • 为半开探测和恢复设置可验证的安全边界

熔断解决的不是一次失败

普通重试假设故障是短暂的;熔断器则处理“失败已经具有持续性”的情况。它在调用方维护近期请求统计,当错误率或慢调用比例超过阈值后,暂时拒绝新的下游调用,让资源尽快释放,并给依赖留出恢复窗口。

判断窗口不能只看单次请求。生产中通常至少同时考虑最小样本数、失败率、慢调用阈值与统计窗口,否则少量偶发错误就可能误触发。熔断器也不等于限流:限流约束进入系统的请求量,熔断器约束对一个已经不健康依赖的继续调用。

三态状态机怎样工作

熔断器关闭、打开与半开状态转换

CLOSED 表示正常放行并记录结果;OPEN 表示短路调用并立即返回降级结果或明确错误;HALF_OPEN 是受控试探阶段,只给少量请求机会验证依赖是否真正恢复。关键点是半开不能瞬间恢复全流量,否则刚恢复的下游可能再次被压垮。

冷却时间也不是“服务一定恢复所需的时间”,而是调用方愿意暂停施压的最短时间。冷却结束后必须经过探测,再决定是否闭合,而不是直接恢复正常流量。

用最小状态机验证转换

下面的示例只模拟熔断状态,不依赖网络或第三方库。连续两次失败会打开熔断器;手动进入半开后,一次成功探测会恢复关闭状态。

python
from enum import Enum

class State(Enum):
    CLOSED = "CLOSED"
    OPEN = "OPEN"
    HALF_OPEN = "HALF_OPEN"

class CircuitBreaker:
    def __init__(self, failure_threshold: int = 2):
        self.state = State.CLOSED
        self.failure_threshold = failure_threshold
        self.failures = 0

    def record(self, ok: bool) -> None:
        if self.state is State.OPEN:
            raise RuntimeError("call rejected: circuit open")

        if self.state is State.HALF_OPEN:
            self.state = State.CLOSED if ok else State.OPEN
            self.failures = 0
            return

        if ok:
            self.failures = 0
            return

        self.failures += 1
        if self.failures >= self.failure_threshold:
            self.state = State.OPEN

    def allow_probe(self) -> None:
        if self.state is State.OPEN:
            self.state = State.HALF_OPEN

breaker = CircuitBreaker()
breaker.record(False)
print(breaker.state.value)
breaker.record(False)
print(breaker.state.value)

try:
    breaker.record(True)
except RuntimeError as exc:
    print(exc)

breaker.allow_probe()
print(breaker.state.value)
breaker.record(True)
print(breaker.state.value)

预期输出

text
CLOSED
OPEN
call rejected: circuit open
HALF_OPEN
CLOSED

真实实现还需要把“连续失败次数”替换为滑动窗口统计,并对并发探测数、慢调用和超时进行约束,但状态转换的核心不变。

阈值要和降级策略一起设计

熔断打开后,请求不能凭空消失。读取类接口可以返回缓存、陈旧数据或明确的暂不可用;写入类接口则要谨慎,不能为了“降级成功”而伪造业务完成。尤其是扣款、库存这类有副作用操作,熔断后的失败语义必须让调用方知道请求是否根本没有发送。

半开阶段优先限制并发,而不是只限制请求总数。比如只允许 3 个探测请求同时进入,能避免几十个线程在状态切换瞬间一起穿透。恢复条件也应比打开条件更保守,避免系统在阈值附近反复抖动。

判断熔断是否真的有效

上线后至少观察三类信号:熔断打开次数与持续时间、被短路的请求数量、下游真实失败率和延迟。若熔断频繁打开但下游并无异常,通常是窗口太小或阈值太敏感;若下游已经长时间超时但熔断始终不打开,则要检查统计是否覆盖了超时和慢调用。

熔断器的价值不在“减少错误数量”,而在错误已经持续时快速停止无效调用,把等待中的线程、连接和超时预算留给仍然健康的路径。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

用熔断隔离持续失败依赖

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通