编码与格式 / 系统课时

画出音视频采集到播放的处理链

画出音视频采集到播放的处理链

摄像头拍到的画面和麦克风录到的声音,并不能直接作为网络直播流发送给播放器。本课用一个 1080p、30fps 的音视频直播案例,拆解从采集到播放的完整处理链,说明各环节输入什么、输出什么,以及出现黑屏、无声或卡顿时应该检查哪里。

学习目标

  • 区分采集、编码、封装、传输、解封装、解码与渲染的职责。
  • 画出视频和音频两条处理分支,理解它们如何在容器中汇合、在播放器中同步。
  • 根据典型故障现象定位处理链中的可疑环节。

从摄像头和麦克风获得原始数据

假设要制作一场带声音的直播,输入设备是一台摄像头和一个麦克风。两种设备产生的数据格式不同,后续处理必须分别进行。

摄像头采集的是连续视频帧。以 1920×1080、30fps、每像素 3 字节的 RGB24 原始画面为例,未压缩数据量约为:

1920×1080×3×30=1866240001920 \times 1080 \times 3 \times 30 = 186624000

即每秒约 186.6 MB,约 1.49 Gbit/s,不包含传输协议开销。真实摄像头可能输出 YUY2、NV12 或设备已经压缩的 MJPEG、H.264,不能把所有摄像头输出都视为 RGB24。

麦克风采集的是音频采样。以 48kHz、16bit、双声道 PCM 为例,原始码率为:

48000×16×2=1536000 bit/s48000 \times 16 \times 2 = 1536000\ \text{bit/s}

即 1536 kbit/s。采样率决定每秒采样次数,位深度影响每个采样值的存储精度,声道数决定同时记录的独立音频通道数量。

两条原始数据流通常还需要时间戳。视频帧可以记录采集或呈现时间,音频数据也需要可换算到共同时间基准的时间信息,为后续音画同步提供依据。

把原始数据编码为压缩媒体

编码器负责把原始音视频转换为适合存储和传输的压缩码流。直播场景中,视频常使用 H.264 或 H.265,音频常使用 AAC 或 Opus,但具体组合必须兼顾协议、容器与播放端兼容性。

下面给出一组教学用直播参数,并非所有平台的统一要求。

项目 视频分支 音频分支
原始输入 1920×1080、30fps 48kHz、16bit、双声道 PCM
编码格式 H.264 AAC-LC
目标码率 3000 kbit/s 128 kbit/s
关键参数 GOP 约 60 帧 采样率 48kHz
编码输出 H.264 压缩数据 AAC 压缩数据

30fps 下,60 帧对应约 2 秒的关键帧间隔。GOP 并不等同于每个视频帧都能独立解码:多数帧依赖其他参考帧,播放器可能需要等待合适的随机访问点才能顺利开始播放。

视频编码从约 1.49 Gbit/s 的 RGB24 原始码率降低到目标 3 Mbit/s,是有损压缩示例,不能认为画质完全不变。实际输出码率还可能随内容复杂度和编码器的码率控制方式波动。

画出完整的发送与播放链路

一条典型的音视频直播处理链包含两个采集和编码分支,随后通过封装形成可传输的数据组织形式。接收端执行相反方向的处理,最终将视频显示到屏幕、音频送往扬声器。

摄像头和麦克风从采集到播放器的完整音视频处理链

沿图中箭头阅读,可把处理过程拆成七个环节。

  1. 采集:设备或采集接口取得视频帧、PCM 音频及相关时间信息。
  2. 编码:视频和音频编码器分别生成压缩码流。
  3. 封装与复用:把两条码流组织成容器或协议规定的媒体数据单元,并关联时间戳等信息。
  4. 传输:通过网络协议发送媒体数据,接收端可能进行重排序、缓冲或丢包恢复。
  5. 解封装与解复用:解析媒体数据结构,取出视频和音频压缩包及时间信息。
  6. 解码:分别恢复可供显示的视频帧和可供播放的 PCM 音频。
  7. 渲染与播放:按播放时钟调度视频帧显示和音频输出,尽量保持声音与画面同步。

这里的流程是逻辑模型,不代表每个系统都先完成全部编码再开始传输。真实直播通常采用流水线并发处理,各模块之间通过队列或缓冲区交接数据。

封装格式也不等于网络协议。例如,传统 RTMP 方案可以承载 H.264/AAC 媒体数据;HLS 则通过媒体分段和播放列表组织交付。不同协议的媒体包装方式、时延和兼容性可能不同,不能机械地认为每套直播方案都使用同一个 MP4 文件进行传输。

理解播放器怎样维持音画同步

视频 30fps 时,相邻画面的理想呈现间隔约为 33.3ms;48kHz 音频中,1024 个采样点对应约 21.3ms。音视频数据包的持续时间未必一致,因此不能简单按照收到一个视频包就播放一个音频包的方式同步。

播放器通常依据呈现时间戳 PTS 和相应时间基准,把不同媒体流安排到共同的播放时间线上。对于采用帧重排序的视频编码,解码顺序和呈现顺序可能不同,因此还需要区分 DTS(解码时间戳)与 PTS。

假设某一视频帧的呈现时间为 2000ms,而一段音频对应从 1980ms 到 2001ms 的播放区间,那么调度目标是在约 2000ms 的媒体时间位置显示该视频帧,同时让音频播放到相应位置,而不是要求两者的数据包同时到达网络接收端。

接收缓冲可以吸收一定程度的网络抖动,但也会增加端到端延迟。直播中常见的取舍如下:

播放策略 缓冲特点 主要影响
低延迟优先 缓冲较小 网络抖动时更容易卡顿
流畅优先 缓冲较大 抗抖动能力较强,但延迟增加

按处理环节定位常见故障

可以先在摄像头本地预览和麦克风录音中验证采集,再检查编码输出、媒体包和接收端渲染。这样比一开始就更换整套推流软件更容易缩小问题范围。

现象 优先检查 可执行的验证动作
本地预览黑屏 摄像头采集 检查设备权限、设备占用和支持的分辨率
本地有画面,远端黑屏 视频编码、媒体格式、解码 核对实际编码格式与播放器能力,检查是否收到可解码的关键帧
画面正常但没有声音 音频采集、复用、解码、输出 检查麦克风输入电平、媒体音轨、静音状态及输出设备
远端间歇卡顿 网络、接收缓冲或解码 对照丢包率、缓冲水位和解码耗时观察异常发生位置
声画逐渐错位 时间戳与时钟 检查音频采样率、时间基准换算及音视频时钟漂移

动手画图时,可以把视频分支画在上方、音频分支画在下方,用两个汇合或分叉模块表示封装与解封装。然后在传输前标注 H.264/AAC 压缩数据,在解码后标注视频帧和 PCM,最后补上 PTS 对齐关系。

验收这张处理链图只需要核对四点:采集与编码没有混为一谈;封装和解封装分别处在发送与接收两端;传输的是组织后的压缩媒体数据而非默认的原始 RGB/PCM;解码结果最终分别进入视频渲染和音频播放。如果四点都能在图中找到,就已经具备分析普通音视频处理问题的基础。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

画出音视频采集到播放的处理链

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通