流媒体与实时通信 / 系统课时

WebRTC 如何完成媒体能力协商

WebRTC 如何完成媒体能力协商

本篇把 WebRTC 的 Offer、Answer、SDP、信令与媒体传输拆开说明,并用一次音视频会话解释浏览器如何确认双方支持的编解码器、媒体方向与传输参数,最终形成可发送和接收的媒体连接。

学习目标

  • 能区分应用信令与 WebRTC 媒体连接本身的职责。
  • 能从 SDP 中找到编解码、媒体方向、ICE 与 DTLS 相关信息。
  • 能按 Offer → Answer → 本地设置 → 远端设置的顺序排查协商失败。

先区分信令和媒体传输

WebRTC 本身没有规定你的业务服务器必须使用 WebSocket、HTTP 还是其他协议交换 Offer 和 Answer。应用通常自行建立一条信令通道,负责搬运 SDP 与候选信息;真正的音视频数据则通过 WebRTC 的媒体与传输机制发送。

典型建立过程是:浏览器 A 创建 Offer,通过业务信令发给浏览器 B;B 根据自身能力生成 Answer,再通过信令返回;双方设置本地和远端描述后,继续进行 ICE 候选检查与 DTLS 建立,最终得到可用的媒体路径。

WebRTC媒体能力协商流程:信令交换与媒体连接分层

这里最容易混淆的是:Offer/Answer 是能力协商,不等于媒体已经传输。即使 Answer 已经返回,也可能因为 ICE 无法连通、DTLS 建立失败或候选地址不可达而无法真正播放。

Offer 和 Answer 到底协商什么

Offer 是发起方给出的“我能提供什么、希望建立什么媒体会话”的描述,Answer 是对方基于自身能力和策略作出的响应。双方不会简单地把所有支持项都拼到一起,而是要为每个媒体段形成最终可接受的组合。

以视频为例,Offer 可以同时列出 VP8、VP9、H.264 等候选编解码能力;Answer 通常只接受其中双方都支持且符合策略的一部分。音频同理。若 Offer 只有 H.264,而 Answer 所在环境没有可接受的 H.264 视频能力,该媒体段就可能无法建立可用的视频方向。

媒体方向也会被协商。常见取值包括 sendrecv、sendonly、recvonly 和 inactive。例如一个纯观看端可以请求视频 recvonly,表示只接收视频、不发送视频;双向视频通话则通常需要 sendrecv。

SDP字段/属性 用途 排查时看什么
m= 描述一个媒体段及传输端口/协议类型 音频或视频是否存在
a=sendrecv 等 媒体方向 是否符合主播端/播放端角色
a=rtpmap RTP 编解码映射 编解码器与时钟率是否一致
a=fmtp 编解码细节参数 H.264 等参数是否兼容
a=ice-ufrag / a=ice-pwd ICE 鉴权参数 是否正确交换、是否更新
a=fingerprint DTLS 指纹 是否存在且能完成身份校验

用 SDP 看懂一次协商

拿到 SDP 后,先看媒体段,再看能力和传输信息。不要只搜索一个编解码器名称就判断“协商成功”。至少要确认媒体方向、双方共同编解码能力以及 ICE/DTLS 所需信息都能进入后续流程。

例如一个视频媒体段中,如果看到 a=sendrecv,说明该媒体段允许双方发送和接收;若 a=rtpmap 映射到 H.264,还需要结合 a=fmtp 检查具体参数。实际浏览器生成的 SDP 行顺序和候选数量会因浏览器、网络接口和实现策略变化,不能把某一份 SDP 的固定文本当成协议常量。

排查时可以按这个顺序读取:

  1. 看有没有需要的 m=audio 或 m=video 媒体段。
  2. 看媒体方向是否符合业务角色,例如播放端是否为 recvonly 或 sendrecv。
  3. 看 a=rtpmap 与 a=fmtp,确认双方有可接受的共同编解码配置。
  4. 看 ICE 用户名、密码以及候选信息是否已产生并交换。
  5. 看 DTLS fingerprint 是否存在;随后再观察 ICE 状态和 DTLS 状态是否进入成功阶段。

一次失败协商怎么定位

假设主播能建立信令连接,也成功收到了 Answer,但观众始终没有视频。此时不要继续检查 WebSocket 是否“在线”,因为信令链路在线不代表媒体链路可用。

最短的定位路径是:

  1. 检查 Offer 中是否真正提供了视频,以及 Answer 是否接受了该媒体段。
  2. 比较双方接受的编解码器和关键 fmtp 参数,排除没有共同可用能力的情况。
  3. 查看 ICE 状态。长时间停在 checking,优先检查候选地址、NAT、防火墙和 TURN 配置;进入 failed 则说明候选检查没有形成可用路径。
  4. ICE 成功后再看 DTLS 是否建立;若媒体仍无数据,再看 RTP/SRTP 发送、接收统计和轨道状态。

一个常见错误是把“Offer 里出现 H.264”理解成“对端一定会用 H.264”。正确判断要看 Answer 最终接受的 payload type、编解码参数与媒体方向,因为协商结果以双方最终描述为准。

在工程实践中,把 SDP 当成一次“可审计的协商结果”比把它当作普通配置文本更可靠:先确认媒体段存在,再确认方向,再确认共同编解码能力,最后结合 ICE 与 DTLS 状态判断为什么媒体路径没有真正建立。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

WebRTC 如何完成媒体能力协商

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通