编码与格式 / 系统课时

WebRTC 架构

WebRTC 架构

WebRTC 不是单一协议,而是一套由采集、编解码、网络协商、媒体传输和连接管理共同组成的实时通信体系。本课先建立完整架构图,再沿一次建联过程说明信令服务器、STUN、TURN 与浏览器音视频引擎各自负责什么。

学习目标

  • 识别 WebRTC 通话中的核心组件及职责
  • 说明 SDP、ICE 候选与媒体数据的传递路径
  • 判断直连、TURN 中继和 SFU 转发分别适合什么场景

架构中的核心角色

通信两端通常各自包含采集设备、音视频引擎和 RTCPeerConnection。音视频引擎负责采集、编解码、回声消除、抖动缓冲和渲染;连接对象负责协商媒体能力、收集网络候选地址并维护传输状态。

信令服务器负责转发房间加入、SDP 和 ICE 候选,但 WebRTC 标准没有规定信令必须使用 WebSocket、HTTP 还是其他协议。STUN 帮助客户端发现公网映射地址;无法建立直连时,TURN 服务器代为中继媒体。

WebRTC 核心架构与数据路径

一次连接是怎样建立的

发起端先采集本地音视频轨道并创建连接对象,然后生成 Offer。Offer 中的 SDP 描述可用的媒体类型、编解码能力和传输参数,经信令服务器发送给接收端。

接收端设置远端描述,创建 Answer 并返回。双方还会持续收集 ICE 候选,通过信令交换可能的网络地址。ICE 连通性检查会尝试候选组合,优先选择可用且成本较低的路径;直连失败时再使用 TURN 中继。

协商完成后,密钥通过 DTLS 建立,音视频通常使用 SRTP 传输。此后信令连接即使短暂中断,已建立的媒体通道也不一定立即停止,但房间控制、重新协商和异常恢复会受到影响。

信令与媒体必须分开理解

信令解决的是“双方如何认识并交换协商信息”,媒体传输解决的是“音视频数据最终走哪条网络路径”。把两者混为一谈,最常见的误判就是认为所有音视频都经过业务 WebSocket 服务器。

信令消息可以由业务系统自由设计,但必须处理会话身份、消息顺序、重复投递和断线恢复。媒体层则由 WebRTC 内部协议栈处理拥塞控制、丢包恢复、带宽估计和加密,应用通常通过统计接口观察它,而不是自己发送 RTP 包。

用最小代码看模块边界

下面是片段示例,依赖浏览器环境、页面中的 remoteVideo 元素,以及项目自行实现的 signaling.send 方法。它不能单独完成通话,但清楚展示本地采集、连接管理和信令发送之间的边界。

js
const localStream = await navigator.mediaDevices.getUserMedia({
  audio: true,
  video: true
});

const pc = new RTCPeerConnection({
  iceServers: [{ urls: "stun:stun.example.com:3478" }]
});

// 本地轨道交给 WebRTC 音视频与传输引擎处理
for (const track of localStream.getTracks()) {
  pc.addTrack(track, localStream);
}

// ICE 候选仍需通过业务信令转发给远端
pc.onicecandidate = (event) => {
  if (event.candidate) {
    signaling.send({
      type: "candidate",
      candidate: event.candidate
    });
  }
};

pc.ontrack = (event) => {
  remoteVideo.srcObject = event.streams[0];
};

const offer = await pc.createOffer();
await pc.setLocalDescription(offer);

signaling.send({
  type: "offer",
  sdp: pc.localDescription
});

预期结果是浏览器请求摄像头与麦克风权限,本地轨道被加入连接对象,并生成 Offer 交给信令层发送。只有远端返回 Answer、双方交换 ICE 候选且连通性检查成功后,ontrack 才会收到远端媒体。

连接管理与部署拓扑

一对一通话优先尝试 P2P,服务端带宽成本低,但双方网络条件直接决定质量。严格 NAT、防火墙或企业网络下可能必须经过 TURN,此时媒体仍是端到端会话的一部分,只是传输路径由中继服务器转发。

多人会议通常使用 SFU。每个客户端向 SFU 上传一路或少量媒体,SFU 再按订阅关系转发给其他参与者,服务器不必像 MCU 那样先解码并合成所有画面,因此更适合实时会议和互动直播。

拓扑 媒体路径 主要特点
P2P 客户端之间直连 延迟低,适合少量参与者
TURN 客户端经中继转发 穿透成功率高,但消耗中继带宽
SFU 客户端上传到转发服务器 适合多人房间,可按需订阅

常见误区

第一,STUN 不是媒体中继,它主要帮助发现可用于连通性检查的地址。第二,TURN 不是可选装饰;在复杂网络中,没有 TURN 会导致部分用户永远无法建立连接。

第三,连接成功不代表质量稳定。应用还要持续观察 connectionState、iceConnectionState 和统计数据,并在网络切换、候选失效或媒体轨道变化时执行重新协商或恢复策略。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

WebRTC 架构

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通