编码与格式 / 系统课时

安排读取、解复用与解码顺序

安排读取、解复用与解码顺序

播放器拿到 MP4 文件后,不能直接把文件字节送到屏幕或扬声器。必须先读取容器数据,识别音视频流,再将压缩数据包交给对应解码器,最终生成可播放的帧。本篇通过一条实际处理链路,明确模块职责、队列顺序和异常处理方法。

学习目标

  • 区分文件读取、解复用、解码和播放控制的职责。
  • 理解数据包与解码帧的关系,能够安排音视频处理顺序。
  • 使用 FFmpeg 验证媒体流信息,并判断播放器为什么需要缓冲队列。

从媒体文件到音视频帧

假设输入文件为一个 30 秒的 MP4 视频,包含 H.264 视频流和 AAC 音频流。播放器需要处理三种不同的数据:容器中的字节、编码后的压缩数据包以及解码后的原始帧。

典型处理链路如下:

播放器读取、解复用与解码架构图

各模块负责的事情不能混淆:

模块 输入 输出 核心职责
Reader 文件或网络字节 可读取的数据源 读取、定位和处理 I/O 错误
Demuxer 封装容器 AVPacket 识别流并提取压缩数据包
Video Decoder 视频 AVPacket AVFrame 将压缩图像还原为视频帧
Audio Decoder 音频 AVPacket AVFrame 将压缩音频还原为音频采样
Playback Controller 用户指令与播放状态 控制动作 管理暂停、跳转、停止及缓冲

以 FFmpeg 为例,AVPacket 通常携带压缩数据、流索引和时间戳;AVFrame 保存解码结果及其格式信息。解复用并不等于解码:前者拆分容器,后者还原压缩内容。

正确安排解复用与解码顺序

播放器通常先打开输入并读取流信息,然后按包所属的媒体流,将数据分发到不同解码器。一个 MP4 文件里的音频包和视频包可能交错存储,因此不能假设读取到的所有包都是视频,也不能假设音视频包严格轮流出现。

以 FFmpeg 的处理模型为例,执行顺序为:

  1. avformat_open_input 打开媒体源,avformat_find_stream_info 读取流信息。
  2. 遍历 AVStream,识别视频、音频流,按流的 codecpar 初始化对应 AVCodecContext。
  3. 调用 av_read_frame 读取一个 AVPacket,检查其 stream_index。
  4. 根据流索引将包送入对应 Packet Queue,或在简单单线程实现中直接交给对应解码器。
  5. 调用 avcodec_send_packet 提交压缩包,再反复调用 avcodec_receive_frame 提取已完成的帧。
  6. 将视频帧、音频帧分别放入 Frame Queue,等待后续渲染和音频播放模块消费。

其中,第 5 步不是简单的一包对应一帧。一个包可能产生多帧,也可能暂时没有输出;解码器可能需要积累后续数据才能返回结果。因此必须按照 send 与 receive 的返回值处理,而不是每送入一个包就强行读取一帧。

视频解码还可能涉及 B 帧重排序。压缩包的解码顺序与最终画面显示顺序不一定相同,渲染应依据有效的显示时间戳安排,而不是简单依据包到达顺序。

使用 FFmpeg 检查实际媒体流

下面通过 FFmpeg 提供的 ffprobe 和 ffmpeg 命令验证处理链路。适用于支持这些命令的 FFmpeg 6.x、7.x 和 8.x 常见构建。前提是当前目录存在 input.mp4,且文件包含支持的音视频流。

先查看流索引、编码器类型和时间基:

bash
ffprobe -v error -show_entries stream=index,codec_type,codec_name,time_base -of json input.mp4

预期输出(假设视频为第 0 条流、音频为第 1 条流,实际数值取决于文件):

json
{
  "programs": [],
  "streams": [
    {
      "index": 0,
      "codec_name": "h264",
      "codec_type": "video",
      "time_base": "1/15360"
    },
    {
      "index": 1,
      "codec_name": "aac",
      "codec_type": "audio",
      "time_base": "1/48000"
    }
  ]
}

部分 FFmpeg 构建或版本可能附带其他字段。这里最值得关注的是 index:解复用器正是根据流索引区分包的归属。time_base 用于解释该流时间戳的单位,例如音频时间基为 1/48000 时,时间戳相差 48000 表示相差 1 秒。

接着让 FFmpeg 解码视频,但不编码输出文件:

bash
ffmpeg -hide_banner -loglevel error -i input.mp4 -map 0:v:0 -an -f null -

预期结果:有效且受支持的视频可以解码时,命令通常不打印错误并正常退出。-map 0:v:0 选择第一个输入文件的第一条视频流,-an 禁用音频输出,-f null - 丢弃处理结果。这个操作验证了解复用和视频解码路径,但不验证画面渲染、音频播放或音视频同步。

如果提示 Stream map '0:v:0' matches no streams,说明输入没有可选择的视频流,应先检查 ffprobe 的输出。

为什么读取、解码和播放需要队列

单线程直接读取和解码可以实现离线处理,但实时播放器通常要分别应对磁盘或网络读取波动、解码耗时与音视频设备的固定消费节奏。

考虑一个 30 fps 的视频,显示设备约每 33.3 毫秒需要一帧。如果某次磁盘读取阻塞 100 毫秒,而后续没有缓存,连续数帧就可能无法按时显示。

可以采用以下初始缓冲策略作为实验参数,而不是固定行业标准:

队列 示例容量 容量限制目的
视频 Packet Queue 最多 64 包或 8 MiB 吸收读取波动,防止压缩包无限堆积
音频 Packet Queue 最多 128 包或 2 MiB 降低音频解码输入中断风险
视频 Frame Queue 最多 8 帧 为渲染保留短暂缓冲
音频 Frame Queue 约 200 毫秒 PCM 数据 给音频输出提供连续采样

这些数值只适合起步测试。例如 1920×1080、8-bit YUV420P 的原始视频帧约占 3 MiB,8 帧可能占用约 24 MiB,还没有计算解码器内部缓存和其他开销。队列设计应同时约束帧数、字节数或缓冲时长。

播放器多线程队列与背压关系图

正确的背压处理是:队列满时阻塞或暂停上游读取,队列空时让消费者等待新数据,通过条件变量或等效同步机制唤醒。普通文件播放不应为了控制内存而随意丢弃压缩包,否则可能破坏视频帧之间的参考关系。

另外,包队列里的压缩包必须正确管理引用。FFmpeg 中需要使用 av_packet_ref 或 av_packet_move_ref 等机制转交包所有权,在消费完成后释放,避免悬空引用与内存泄漏。

播放控制与结束条件

读取、解复用和解码不能各自独立决定播放状态。播放控制模块需要协调队列及工作线程,尤其是暂停、跳转和文件结束三种情况。

  • 暂停:暂停音视频时钟推进和正常播放消费;是否继续预缓冲由容量限制和播放器策略决定。
  • 跳转 Seek:停止旧位置的数据消费,清除相关队列,执行定位,并使用 avcodec_flush_buffers 清理对应解码器的缓存状态;新位置附近可能需要从关键帧开始解码,直到到达目标显示时间。
  • 到达文件末尾:av_read_frame 返回 AVERROR_EOF 后,向每个解码器发送空包启动排空,再持续接收剩余帧,直到解码器返回 AVERROR_EOF。随后等待输出队列消费完成。
  • 停止:通知工作线程退出、唤醒可能正在等待队列条件的线程,等待线程结束后再释放解码器、容器和队列资源。

尤其要注意,读取结束不等于播放结束。读取线程已经到达 EOF 时,视频解码器可能还有延迟帧,音频输出设备也可能还有尚未播放的采样。

验收时可以选用一个同时包含音视频的 30 秒 MP4,检查四个现象:正常播放无持续性卡顿;暂停后音画不再推进;跳转后不闪现旧位置的帧;播放到文件尾部时能完整播放剩余音频并正常退出。

播放器的基本顺序应保持为:读取容器、按流分包、分别解码、缓存原始帧,再由播放时钟调度输出。读取顺序负责提供数据,解码顺序负责正确还原内容,而最终播放顺序应由音视频时间戳与同步策略决定。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

安排读取、解复用与解码顺序

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通