流媒体与实时通信 / 系统课时
跨可用区部署如何规避单点故障
跨可用区部署如何规避单点故障
本篇解决直播源站“一个机房或一个可用区故障就全站中断”的问题。你会把控制数据库、入口网关、源站实例和转码任务拆开设计,明确哪些状态要同步,并用实际部署约束检查故障时是否仍能接流、转流和拉流。
学习目标
- 找出直播链路中真正的单点依赖,并判断哪些组件必须跨可用区冗余。
- 用副本、状态复制、任务重分配和故障摘除设计跨可用区方案。
- 能估算跨区同步带来的延迟、带宽与费用影响,并用故障演练验证结果。
先拆出四类高风险依赖
直播源站不能只看“服务器有没有两台”,而要看故障后业务状态是否还在。控制数据库保存频道、鉴权、节点注册和任务状态;入口网关负责把推流、播放请求送到健康源站;源站保存直播连接和临时流状态;转码集群则保存正在执行的任务及任务结果。

实际设计时,可先用这四个问题逐项排查:
- 控制数据库是否只有一个可写实例,而且另一份数据恢复需要人工操作?如果是,数据库仍是单点。
- DNS、LB 或网关是否只有一个可用区承载?如果整区失联,入口是否还有健康地址?
- 源站是否把关键状态只放在本机内存?单机故障后,已有推流或控制状态是否能被接管?
- 转码任务是否绑定某台机器?节点掉线后,任务是否能回到队列并被其他 Worker 重新领取?
副本不是简单复制两份
跨可用区高可用至少要同时处理“入口、状态、任务”三个层面。入口网关通常每个可用区至少放 2 个实例,并由健康检查摘除故障实例;源站采用多副本并让副本分散到不同可用区;转码任务放入可重新领取的队列,而不是只存在线程内存里。
一个可直接参考的 Kubernetes 部署约束如下。这里重点不是把媒体流本身跨区复制,而是让实例分布和任务恢复具备跨区能力。
apiVersion: apps/v1
kind: Deployment
metadata:
name: stream-origin
spec:
replicas: 4
selector:
matchLabels:
app: stream-origin
template:
metadata:
labels:
app: stream-origin
spec:
topologySpreadConstraints:
- maxSkew: 1
topologyKey: topology.kubernetes.io/zone
whenUnsatisfiable: DoNotSchedule
labelSelector:
matchLabels:
app: stream-origin
containers:
- name: origin
image: registry.example.com/live/origin:<TAG>
ports:
- containerPort: 1935
name: rtmp预期结果:当集群至少有两个带 topology.kubernetes.io/zone 标签的可用区时,4 个源站副本会尽量维持每个可用区的副本数差不超过 1;如果满足不了这个分布约束,Pod 不会直接挤到同一区域。
kubectl get pods -l app=stream-origin -o wide预期输出:实际节点名和 Pod IP 会变化,但结果中应能看到 4 个 stream-origin Pod 分布在不同节点,并可通过节点所属可用区确认没有全部集中到一个 AZ。
数据同步要按业务状态分级
不要把所有数据都做成“同步复制”。直播媒体流通常追求低时延,若把大量实时媒体数据强制跨区同步,带宽和时延都会明显上升。更合理的做法是把状态按恢复要求分级。
| 数据 | 推荐策略 | 故障后的处理 |
|---|---|---|
| 频道、账号、鉴权配置 | 数据库跨区副本或托管高可用 | 新实例读取最新状态 |
| 节点注册、健康状态 | 短周期心跳或服务发现同步 | 超时后摘除旧节点 |
| 单路直播连接状态 | 本地保存 + 可恢复控制状态 | 连接断开后重新推流 |
| 转码任务 | 持久化队列 | 任务超时后重新领取 |
| 临时缓存 | 不做跨区强同步 | 从源数据重新构建 |
例如一组 1 Gbps 的媒体流量若被强制跨区复制,复制方向本身就可能持续占用约 1 Gbps 的额外出口带宽;而只同步频道状态和任务元数据,跨区流量通常会小很多。工程上应先算峰值带宽,再决定同步范围,而不是先假设“全部复制最安全”。
计算跨区代价并设置故障边界
假设某直播业务峰值上行 2 Gbps,正常情况下媒体流只在本可用区处理;如果方案要求所有媒体数据同步到另一可用区,理论上至少会新增约 2 Gbps 的单向复制流量。若再考虑协议开销、重传和峰值波动,实际带宽预算不能只按 2 Gbps 卡死。
延迟也要分开看:入口切换可以做到秒级甚至更快,但数据库提交、状态复制和任务重新领取不一定与流量切换同步。比如 AZ-A 故障后,健康检查 10 秒内将节点摘除,剩余流量切到 AZ-B;此时一个正在执行的转码任务若设置 30 秒租约,最坏情况下可能要等待租约超时后才被重新领取。
因此,直播系统的故障预算应写成可验证的参数,例如“入口摘除 10 秒内完成,任务最长 30 秒重新领取,单区故障后仍保留至少 50% 的源站容量”,而不是只写“支持跨区高可用”。
用故障演练验证方案
部署完成后,至少做一次“整区失联”演练,而不是只停一台 Pod。演练时按下面顺序记录时间点:
- 从流量入口侧模拟 AZ-A 全部不可达,观察健康检查是否停止向 AZ-A 转发。
- 检查 AZ-B 是否仍有足够源站副本接收新推流和播放请求。
- 查询控制数据库是否仍可读写,确认频道与鉴权状态没有回退到旧版本。
- 人为终止一个转码 Worker,确认任务进入超时或重新调度流程,而不是永久卡住。
- 恢复 AZ-A 后,确认节点重新注册,不会把过期状态直接覆盖当前有效状态。
验收时至少记录 4 个指标:故障发现时间、入口切换时间、任务恢复时间、可用容量下降比例。只有这些数字都在目标范围内,跨可用区设计才算完成。
一个常见错误是把“4 台机器分布在两个 AZ”当成高可用的全部工作。如果数据库仍是单区单实例、网关健康检查错误地把故障区保留在地址池里,或者转码任务只存在某台机器的内存里,整区故障仍会造成业务中断。真正需要跨区的是业务承载能力和可恢复状态,而不是机械地把所有组件复制一遍。