架构与系统设计 / 系统课时
单点故障怎样设计恢复
单点故障怎样设计恢复
系统里的单点故障并不只指“一台机器挂了”。任何只有一个实例、一个可用路径或一个不可替代状态源的组件,都可能让局部故障升级为整体不可用。本篇从副本、故障检测、流量切换到恢复目标,建立一套可落地的可靠性设计方法。
学习目标
- 能识别计算、存储和网络链路中的单点故障
- 能用副本与故障转移设计自动恢复路径
- 能结合 RTO、RPO 判断超时、重试和降级策略是否合理
先找出真正的单点
判断单点时,不要只数服务器数量。两台应用服务器如果都依赖同一个数据库主节点,数据库仍然是单点;数据库有副本但故障切换必须人工修改配置,恢复过程本身仍然可能成为关键风险;两个实例部署在同一台宿主机或同一个故障域,也不能抵御宿主机级故障。
可以沿一次请求逐层检查:入口负载均衡是否有冗余,应用是否至少有两个健康实例,状态是否依赖单节点缓存,数据库有没有可接管的副本,消息系统是否有副本,关键外部服务失败后系统是否还有可接受的退化路径。

识别单点后再决定冗余层级。无状态应用通常容易水平复制;带状态组件除了要有副本,还需要解决数据同步、主节点判定、接管和客户端重新发现的问题。真正的高可用不是“有备机”,而是备机在需要时能够接管业务。
副本必须配合故障转移
以数据库为例,主库负责写入、副本持续复制数据,只解决了“数据还有另一份”的问题。主库宕机后,系统还需要判断故障是否真实、选择合适副本、提升新主库、更新连接入口,并防止旧主库恢复后继续接受写入而形成双主冲突。
这也是为什么故障检测不能过度敏感。一次网络抖动不应立即触发切换,否则可能把短暂抖动升级成频繁主从切换。通常会结合连续健康检查失败、租约或共识机制来确认节点状态,并通过 fencing 等方式阻止旧主继续写入。
应用层的故障转移通常更简单:健康检查发现某实例不可用后,负载均衡停止把新请求发送给它,剩余实例继续服务。前提是容量设计必须留出冗余,否则少一个实例虽然没有完全停机,却可能让其余实例立刻过载。
超时和重试是恢复链路的一部分
调用下游时如果没有超时,上游线程或连接可能一直等待,最终把一个下游故障扩散到整个系统。超时应该基于调用链的延迟预算设置,而不是简单使用一个特别大的固定值。
超时后也不能无条件重试。读请求和天然幂等请求通常更适合重试;创建订单、扣款等非幂等写操作需要幂等键或业务去重,否则第一次请求只是“响应超时”而非“执行失败”,第二次重试可能产生重复副作用。
当下游持续失败时,短时间内继续高频重试只会增加压力。可以通过指数退避、随机抖动和有限次数降低重试风暴风险,并在错误率持续升高时使用熔断,暂时停止向明显不可用的依赖发送请求。
用降级避免非核心故障拖垮核心路径
不是所有依赖都值得阻塞主流程。例如商品详情页的推荐服务不可用时,可以隐藏推荐区域或返回缓存结果,而不是让整个页面失败;订单创建中的支付确认则不能用旧数据假装成功,因为它直接影响业务正确性。
设计降级时应先区分核心能力和增强能力。核心能力无法保证正确性时通常应该明确失败;非核心能力则可以返回缓存、默认值、静态内容或暂时关闭功能。降级的目标不是掩盖故障,而是在约束范围内保住最重要的业务路径。
同样要防止“备用方案本身成为单点”。如果所有实例降级时同时读取一个容量很小的备用数据库,切换发生后可能立刻把备用资源压垮。恢复路径也需要容量评估和压测。
用 RTO 和 RPO 判断恢复设计是否够用
可靠性设计最终需要落到可验证目标。RTO 表示故障发生后允许多长时间恢复服务;RPO 表示最多可以接受丢失多长时间范围的数据。例如要求几十秒内恢复但允许丢失几分钟数据,与要求几乎不丢数据的系统,所需架构完全不同。
异步复制通常可以降低主请求延迟,但主节点突然故障时可能丢失尚未复制的数据,因此 RPO 不一定为零。同步或多数派确认可以降低数据丢失风险,却增加写入延迟,并可能在副本不足时牺牲可用性。面试中应明确这是业务目标驱动的取舍,而不是默认选择最强方案。
故障恢复设计还必须通过演练验证。应实际测试实例退出、数据库主节点失联、网络隔离和依赖超时等场景,观察健康检查多久发现故障、流量多久完成切换、是否产生错误放大以及数据是否符合 RPO。只有恢复链路被真实执行过,RTO 才不是纸面数字。
回答单点故障问题时,可以用“识别单点 → 建立冗余 → 检测故障 → 自动切换 → 限制故障扩散 → 验证 RTO/RPO”的顺序收束。副本解决的是失去一个组件后仍有可用资源,而超时、重试、熔断、降级和演练决定了这些资源能否真正变成可恢复的系统。