编码与格式 / 系统课时
安排读取、解复用与解码顺序
安排读取、解复用与解码顺序
播放器拿到 MP4 文件后,不能直接把文件字节送到屏幕或扬声器。必须先读取容器数据,识别音视频流,再将压缩数据包交给对应解码器,最终生成可播放的帧。本篇通过一条实际处理链路,明确模块职责、队列顺序和异常处理方法。
学习目标
- 区分文件读取、解复用、解码和播放控制的职责。
- 理解数据包与解码帧的关系,能够安排音视频处理顺序。
- 使用 FFmpeg 验证媒体流信息,并判断播放器为什么需要缓冲队列。
从媒体文件到音视频帧
假设输入文件为一个 30 秒的 MP4 视频,包含 H.264 视频流和 AAC 音频流。播放器需要处理三种不同的数据:容器中的字节、编码后的压缩数据包以及解码后的原始帧。
典型处理链路如下:

各模块负责的事情不能混淆:
| 模块 | 输入 | 输出 | 核心职责 |
|---|---|---|---|
| Reader | 文件或网络字节 | 可读取的数据源 | 读取、定位和处理 I/O 错误 |
| Demuxer | 封装容器 | AVPacket | 识别流并提取压缩数据包 |
| Video Decoder | 视频 AVPacket | AVFrame | 将压缩图像还原为视频帧 |
| Audio Decoder | 音频 AVPacket | AVFrame | 将压缩音频还原为音频采样 |
| Playback Controller | 用户指令与播放状态 | 控制动作 | 管理暂停、跳转、停止及缓冲 |
以 FFmpeg 为例,AVPacket 通常携带压缩数据、流索引和时间戳;AVFrame 保存解码结果及其格式信息。解复用并不等于解码:前者拆分容器,后者还原压缩内容。
正确安排解复用与解码顺序
播放器通常先打开输入并读取流信息,然后按包所属的媒体流,将数据分发到不同解码器。一个 MP4 文件里的音频包和视频包可能交错存储,因此不能假设读取到的所有包都是视频,也不能假设音视频包严格轮流出现。
以 FFmpeg 的处理模型为例,执行顺序为:
avformat_open_input打开媒体源,avformat_find_stream_info读取流信息。- 遍历
AVStream,识别视频、音频流,按流的codecpar初始化对应AVCodecContext。 - 调用
av_read_frame读取一个AVPacket,检查其stream_index。 - 根据流索引将包送入对应 Packet Queue,或在简单单线程实现中直接交给对应解码器。
- 调用
avcodec_send_packet提交压缩包,再反复调用avcodec_receive_frame提取已完成的帧。 - 将视频帧、音频帧分别放入 Frame Queue,等待后续渲染和音频播放模块消费。
其中,第 5 步不是简单的一包对应一帧。一个包可能产生多帧,也可能暂时没有输出;解码器可能需要积累后续数据才能返回结果。因此必须按照 send 与 receive 的返回值处理,而不是每送入一个包就强行读取一帧。
视频解码还可能涉及 B 帧重排序。压缩包的解码顺序与最终画面显示顺序不一定相同,渲染应依据有效的显示时间戳安排,而不是简单依据包到达顺序。
使用 FFmpeg 检查实际媒体流
下面通过 FFmpeg 提供的 ffprobe 和 ffmpeg 命令验证处理链路。适用于支持这些命令的 FFmpeg 6.x、7.x 和 8.x 常见构建。前提是当前目录存在 input.mp4,且文件包含支持的音视频流。
先查看流索引、编码器类型和时间基:
ffprobe -v error -show_entries stream=index,codec_type,codec_name,time_base -of json input.mp4预期输出(假设视频为第 0 条流、音频为第 1 条流,实际数值取决于文件):
{
"programs": [],
"streams": [
{
"index": 0,
"codec_name": "h264",
"codec_type": "video",
"time_base": "1/15360"
},
{
"index": 1,
"codec_name": "aac",
"codec_type": "audio",
"time_base": "1/48000"
}
]
}部分 FFmpeg 构建或版本可能附带其他字段。这里最值得关注的是 index:解复用器正是根据流索引区分包的归属。time_base 用于解释该流时间戳的单位,例如音频时间基为 1/48000 时,时间戳相差 48000 表示相差 1 秒。
接着让 FFmpeg 解码视频,但不编码输出文件:
ffmpeg -hide_banner -loglevel error -i input.mp4 -map 0:v:0 -an -f null -预期结果:有效且受支持的视频可以解码时,命令通常不打印错误并正常退出。-map 0:v:0 选择第一个输入文件的第一条视频流,-an 禁用音频输出,-f null - 丢弃处理结果。这个操作验证了解复用和视频解码路径,但不验证画面渲染、音频播放或音视频同步。
如果提示 Stream map '0:v:0' matches no streams,说明输入没有可选择的视频流,应先检查 ffprobe 的输出。
为什么读取、解码和播放需要队列
单线程直接读取和解码可以实现离线处理,但实时播放器通常要分别应对磁盘或网络读取波动、解码耗时与音视频设备的固定消费节奏。
考虑一个 30 fps 的视频,显示设备约每 33.3 毫秒需要一帧。如果某次磁盘读取阻塞 100 毫秒,而后续没有缓存,连续数帧就可能无法按时显示。
可以采用以下初始缓冲策略作为实验参数,而不是固定行业标准:
| 队列 | 示例容量 | 容量限制目的 |
|---|---|---|
| 视频 Packet Queue | 最多 64 包或 8 MiB | 吸收读取波动,防止压缩包无限堆积 |
| 音频 Packet Queue | 最多 128 包或 2 MiB | 降低音频解码输入中断风险 |
| 视频 Frame Queue | 最多 8 帧 | 为渲染保留短暂缓冲 |
| 音频 Frame Queue | 约 200 毫秒 PCM 数据 | 给音频输出提供连续采样 |
这些数值只适合起步测试。例如 1920×1080、8-bit YUV420P 的原始视频帧约占 3 MiB,8 帧可能占用约 24 MiB,还没有计算解码器内部缓存和其他开销。队列设计应同时约束帧数、字节数或缓冲时长。

正确的背压处理是:队列满时阻塞或暂停上游读取,队列空时让消费者等待新数据,通过条件变量或等效同步机制唤醒。普通文件播放不应为了控制内存而随意丢弃压缩包,否则可能破坏视频帧之间的参考关系。
另外,包队列里的压缩包必须正确管理引用。FFmpeg 中需要使用 av_packet_ref 或 av_packet_move_ref 等机制转交包所有权,在消费完成后释放,避免悬空引用与内存泄漏。
播放控制与结束条件
读取、解复用和解码不能各自独立决定播放状态。播放控制模块需要协调队列及工作线程,尤其是暂停、跳转和文件结束三种情况。
- 暂停:暂停音视频时钟推进和正常播放消费;是否继续预缓冲由容量限制和播放器策略决定。
- 跳转 Seek:停止旧位置的数据消费,清除相关队列,执行定位,并使用
avcodec_flush_buffers清理对应解码器的缓存状态;新位置附近可能需要从关键帧开始解码,直到到达目标显示时间。 - 到达文件末尾:
av_read_frame返回AVERROR_EOF后,向每个解码器发送空包启动排空,再持续接收剩余帧,直到解码器返回AVERROR_EOF。随后等待输出队列消费完成。 - 停止:通知工作线程退出、唤醒可能正在等待队列条件的线程,等待线程结束后再释放解码器、容器和队列资源。
尤其要注意,读取结束不等于播放结束。读取线程已经到达 EOF 时,视频解码器可能还有延迟帧,音频输出设备也可能还有尚未播放的采样。
验收时可以选用一个同时包含音视频的 30 秒 MP4,检查四个现象:正常播放无持续性卡顿;暂停后音画不再推进;跳转后不闪现旧位置的帧;播放到文件尾部时能完整播放剩余音频并正常退出。
播放器的基本顺序应保持为:读取容器、按流分包、分别解码、缓存原始帧,再由播放时钟调度输出。读取顺序负责提供数据,解码顺序负责正确还原内容,而最终播放顺序应由音视频时间戳与同步策略决定。