流媒体与实时通信 / 系统课时
WebRTC 如何完成媒体能力协商
WebRTC 如何完成媒体能力协商
本篇把 WebRTC 的 Offer、Answer、SDP、信令与媒体传输拆开说明,并用一次音视频会话解释浏览器如何确认双方支持的编解码器、媒体方向与传输参数,最终形成可发送和接收的媒体连接。
学习目标
- 能区分应用信令与 WebRTC 媒体连接本身的职责。
- 能从 SDP 中找到编解码、媒体方向、ICE 与 DTLS 相关信息。
- 能按 Offer → Answer → 本地设置 → 远端设置的顺序排查协商失败。
先区分信令和媒体传输
WebRTC 本身没有规定你的业务服务器必须使用 WebSocket、HTTP 还是其他协议交换 Offer 和 Answer。应用通常自行建立一条信令通道,负责搬运 SDP 与候选信息;真正的音视频数据则通过 WebRTC 的媒体与传输机制发送。
典型建立过程是:浏览器 A 创建 Offer,通过业务信令发给浏览器 B;B 根据自身能力生成 Answer,再通过信令返回;双方设置本地和远端描述后,继续进行 ICE 候选检查与 DTLS 建立,最终得到可用的媒体路径。

这里最容易混淆的是:Offer/Answer 是能力协商,不等于媒体已经传输。即使 Answer 已经返回,也可能因为 ICE 无法连通、DTLS 建立失败或候选地址不可达而无法真正播放。
Offer 和 Answer 到底协商什么
Offer 是发起方给出的“我能提供什么、希望建立什么媒体会话”的描述,Answer 是对方基于自身能力和策略作出的响应。双方不会简单地把所有支持项都拼到一起,而是要为每个媒体段形成最终可接受的组合。
以视频为例,Offer 可以同时列出 VP8、VP9、H.264 等候选编解码能力;Answer 通常只接受其中双方都支持且符合策略的一部分。音频同理。若 Offer 只有 H.264,而 Answer 所在环境没有可接受的 H.264 视频能力,该媒体段就可能无法建立可用的视频方向。
媒体方向也会被协商。常见取值包括 sendrecv、sendonly、recvonly 和 inactive。例如一个纯观看端可以请求视频 recvonly,表示只接收视频、不发送视频;双向视频通话则通常需要 sendrecv。
| SDP字段/属性 | 用途 | 排查时看什么 |
|---|---|---|
m= |
描述一个媒体段及传输端口/协议类型 | 音频或视频是否存在 |
a=sendrecv 等 |
媒体方向 | 是否符合主播端/播放端角色 |
a=rtpmap |
RTP 编解码映射 | 编解码器与时钟率是否一致 |
a=fmtp |
编解码细节参数 | H.264 等参数是否兼容 |
a=ice-ufrag / a=ice-pwd |
ICE 鉴权参数 | 是否正确交换、是否更新 |
a=fingerprint |
DTLS 指纹 | 是否存在且能完成身份校验 |
用 SDP 看懂一次协商
拿到 SDP 后,先看媒体段,再看能力和传输信息。不要只搜索一个编解码器名称就判断“协商成功”。至少要确认媒体方向、双方共同编解码能力以及 ICE/DTLS 所需信息都能进入后续流程。
例如一个视频媒体段中,如果看到 a=sendrecv,说明该媒体段允许双方发送和接收;若 a=rtpmap 映射到 H.264,还需要结合 a=fmtp 检查具体参数。实际浏览器生成的 SDP 行顺序和候选数量会因浏览器、网络接口和实现策略变化,不能把某一份 SDP 的固定文本当成协议常量。
排查时可以按这个顺序读取:
- 看有没有需要的
m=audio或m=video媒体段。 - 看媒体方向是否符合业务角色,例如播放端是否为
recvonly或sendrecv。 - 看
a=rtpmap与a=fmtp,确认双方有可接受的共同编解码配置。 - 看 ICE 用户名、密码以及候选信息是否已产生并交换。
- 看 DTLS
fingerprint是否存在;随后再观察 ICE 状态和 DTLS 状态是否进入成功阶段。
一次失败协商怎么定位
假设主播能建立信令连接,也成功收到了 Answer,但观众始终没有视频。此时不要继续检查 WebSocket 是否“在线”,因为信令链路在线不代表媒体链路可用。
最短的定位路径是:
- 检查 Offer 中是否真正提供了视频,以及 Answer 是否接受了该媒体段。
- 比较双方接受的编解码器和关键
fmtp参数,排除没有共同可用能力的情况。 - 查看 ICE 状态。长时间停在
checking,优先检查候选地址、NAT、防火墙和 TURN 配置;进入failed则说明候选检查没有形成可用路径。 - ICE 成功后再看 DTLS 是否建立;若媒体仍无数据,再看 RTP/SRTP 发送、接收统计和轨道状态。
一个常见错误是把“Offer 里出现 H.264”理解成“对端一定会用 H.264”。正确判断要看 Answer 最终接受的 payload type、编解码参数与媒体方向,因为协商结果以双方最终描述为准。
在工程实践中,把 SDP 当成一次“可审计的协商结果”比把它当作普通配置文本更可靠:先确认媒体段存在,再确认方向,再确认共同编解码能力,最后结合 ICE 与 DTLS 状态判断为什么媒体路径没有真正建立。