架构与系统设计 / 系统课时
用熔断隔离持续失败依赖
用熔断隔离持续失败依赖
下游已经持续报错或变慢时,继续把每个请求都打过去只会扩大超时、线程堆积和重试风暴。本节用一个可运行的熔断器状态机说明何时打开、怎样半开探测,以及恢复前必须满足什么条件。
学习目标
- 根据失败率和慢调用判定是否需要打开熔断器
- 解释关闭、打开、半开三种状态及转换条件
- 为半开探测和恢复设置可验证的安全边界
熔断解决的不是一次失败
普通重试假设故障是短暂的;熔断器则处理“失败已经具有持续性”的情况。它在调用方维护近期请求统计,当错误率或慢调用比例超过阈值后,暂时拒绝新的下游调用,让资源尽快释放,并给依赖留出恢复窗口。
判断窗口不能只看单次请求。生产中通常至少同时考虑最小样本数、失败率、慢调用阈值与统计窗口,否则少量偶发错误就可能误触发。熔断器也不等于限流:限流约束进入系统的请求量,熔断器约束对一个已经不健康依赖的继续调用。
三态状态机怎样工作

CLOSED 表示正常放行并记录结果;OPEN 表示短路调用并立即返回降级结果或明确错误;HALF_OPEN 是受控试探阶段,只给少量请求机会验证依赖是否真正恢复。关键点是半开不能瞬间恢复全流量,否则刚恢复的下游可能再次被压垮。
冷却时间也不是“服务一定恢复所需的时间”,而是调用方愿意暂停施压的最短时间。冷却结束后必须经过探测,再决定是否闭合,而不是直接恢复正常流量。
用最小状态机验证转换
下面的示例只模拟熔断状态,不依赖网络或第三方库。连续两次失败会打开熔断器;手动进入半开后,一次成功探测会恢复关闭状态。
from enum import Enum
class State(Enum):
CLOSED = "CLOSED"
OPEN = "OPEN"
HALF_OPEN = "HALF_OPEN"
class CircuitBreaker:
def __init__(self, failure_threshold: int = 2):
self.state = State.CLOSED
self.failure_threshold = failure_threshold
self.failures = 0
def record(self, ok: bool) -> None:
if self.state is State.OPEN:
raise RuntimeError("call rejected: circuit open")
if self.state is State.HALF_OPEN:
self.state = State.CLOSED if ok else State.OPEN
self.failures = 0
return
if ok:
self.failures = 0
return
self.failures += 1
if self.failures >= self.failure_threshold:
self.state = State.OPEN
def allow_probe(self) -> None:
if self.state is State.OPEN:
self.state = State.HALF_OPEN
breaker = CircuitBreaker()
breaker.record(False)
print(breaker.state.value)
breaker.record(False)
print(breaker.state.value)
try:
breaker.record(True)
except RuntimeError as exc:
print(exc)
breaker.allow_probe()
print(breaker.state.value)
breaker.record(True)
print(breaker.state.value)预期输出
CLOSED
OPEN
call rejected: circuit open
HALF_OPEN
CLOSED真实实现还需要把“连续失败次数”替换为滑动窗口统计,并对并发探测数、慢调用和超时进行约束,但状态转换的核心不变。
阈值要和降级策略一起设计
熔断打开后,请求不能凭空消失。读取类接口可以返回缓存、陈旧数据或明确的暂不可用;写入类接口则要谨慎,不能为了“降级成功”而伪造业务完成。尤其是扣款、库存这类有副作用操作,熔断后的失败语义必须让调用方知道请求是否根本没有发送。
半开阶段优先限制并发,而不是只限制请求总数。比如只允许 3 个探测请求同时进入,能避免几十个线程在状态切换瞬间一起穿透。恢复条件也应比打开条件更保守,避免系统在阈值附近反复抖动。
判断熔断是否真的有效
上线后至少观察三类信号:熔断打开次数与持续时间、被短路的请求数量、下游真实失败率和延迟。若熔断频繁打开但下游并无异常,通常是窗口太小或阈值太敏感;若下游已经长时间超时但熔断始终不打开,则要检查统计是否覆盖了超时和慢调用。
熔断器的价值不在“减少错误数量”,而在错误已经持续时快速停止无效调用,把等待中的线程、连接和超时预算留给仍然健康的路径。