流媒体与实时通信 / 系统课时
一通语音经过了哪些模块
一通语音经过了哪些模块
一通 WebRTC 语音不是“麦克风直接连到扬声器”,而是一条由采集、音轨、编码、RTP 传输、网络抖动处理、解码与播放共同组成的实时链路。理解每一段的职责,才能在延迟、无声或音质异常时知道该从哪里开始定位。
学习目标
- 说清麦克风采样到远端播放之间的主要数据流。
- 区分 MediaStreamTrack、编码器、RTP、网络传输与抖动缓冲的职责。
- 根据故障现象快速判断问题更可能出在采集、发送、网络还是播放阶段。
从浏览器视角看整条链路
发送端先从音频设备取得 PCM 采样,浏览器把它暴露为音频 MediaStreamTrack。轨道加入 RTCPeerConnection 后,由内部音频处理与编码模块生成压缩帧,再封装为 RTP 数据包,通过已建立的 WebRTC 安全传输链路发送给远端。
接收端拿到 RTP 后,不会立刻逐包播放。浏览器通常先做乱序整理和抖动缓冲,再把压缩帧交给解码器恢复成 PCM,最后交给系统音频输出设备播放。任何一段都可能引入延迟或中断,因此调试时要按链路分段观察。

发送端各模块分别做什么
采集负责从操作系统音频设备取得原始采样。浏览器还可能在这一阶段执行回声消除、降噪和自动增益等处理;是否启用、实际算法和顺序由浏览器与设备实现共同决定。
音轨是应用层可操作的媒体对象。MediaStreamTrack 让代码能够启用、静音、停止或替换来源,但它本身不是编码后的网络数据,也不是 RTP 包。
编码与打包发生在 RTCPeerConnection 内部。语音通常使用协商得到的音频编解码器,例如 Opus。编码器把连续 PCM 转为压缩帧,RTP 再为媒体包提供序列号、时间戳等实时传输信息。WebRTC 媒体通常通过 SRTP 加密传输,密钥由 DTLS 握手协商。
网络与接收端为什么不能省略缓冲
公网会产生时延变化、乱序和丢包。接收端如果“来一包播一包”,播放节奏会直接跟随网络抖动,听感很容易断裂。抖动缓冲会短暂积累数据,以更稳定的节奏把音频交给解码器,因此它用一部分额外延迟换取连续播放。
接收端的解码器必须与协商出的编码格式一致。解码后的 PCM 最终进入系统音频输出链路;即使网络和解码都正常,错误的输出设备、系统静音或页面自动播放限制仍可能导致“收到数据但听不到声音”。
用症状反推链路位置
| 现象 | 优先检查的位置 |
|---|---|
| 本地音轨根本不存在 | 权限、输入设备、采集约束 |
| 本地有音轨但远端无接收字节增长 | RTCPeerConnection、协商、ICE/DTLS、发送侧 |
| 接收字节持续增长但声音断续 | 丢包、抖动、抖动缓冲、解码 |
| 接收数据正常但完全无声 | 远端轨道绑定、播放元素、输出设备、自动播放限制 |
| 声音能听到但延迟持续增大 | 网络拥塞、抖动缓冲、设备或系统音频队列 |
定位实时语音问题时,不要把 WebRTC 当成一个黑盒。沿着采集、音轨、编码、RTP、网络、缓冲、解码和播放逐段确认是否仍有媒体数据流动,通常能比反复修改参数更快找到故障边界。