编码与格式 / 系统课时
区分轨道、数据包与编码参数
区分轨道、数据包与编码参数
拿到一个 MP4 文件时,怎样判断它包含哪些音视频流、每条流采用什么编码,以及实际数据包如何存储?本课使用 FFprobe 查看流索引、编码参数、包大小和时间戳,并把探针输出对应到媒体容器的实际结构。
学习目标
- 区分容器、轨道、编码流和压缩数据包的职责。
- 使用 FFprobe 查询视频与音频的编码参数及流索引。
- 根据数据包的时间戳、大小和流索引判断媒体数据的组织方式。
从容器结构理解轨道和数据包
媒体容器负责把多路编码数据组织为一个文件,并保存播放所需的描述信息。以常见 MP4 为例,一个文件可以同时包含 H.264 视频、AAC 音频以及字幕轨道。
理解封装结构时,需要区分四个层次:
- 容器(Container):MP4、Matroska 等文件格式,规定数据与元信息怎样存放。
- 轨道(Track):容器内部组织某一路媒体样本的逻辑结构,例如视频轨道与音频轨道。
- 流(Stream):FFprobe 向用户展示的媒体流抽象,通过
index区分不同流。 - 数据包(Packet):解复用器交给解码器的一份压缩数据,关联所属流、时间戳、时长和大小。
轨道不等于数据包。视频轨道可以包含数千帧对应的压缩样本,而探针会将解复用后的数据按 Packet 逐条展示。MP4 的磁盘存储布局也不一定是视频数据一段、音频数据一段;音视频样本通常可以交错排列。

生成可复现的音视频样本
以下示例适用于包含 lavfi、mpeg4 和 AAC 编码支持的 FFmpeg 构建。先通过 ffmpeg -version 与 ffmpeg -encoders 检查安装情况,再生成一个 3 秒、25 fps 的测试文件。
ffmpeg -hide_banner -y -f lavfi -i testsrc2=size=320x240:rate=25 -f lavfi -i sine=frequency=1000:sample_rate=48000 -t 3 -c:v mpeg4 -q:v 5 -c:a aac -b:a 128k -ar 48000 -ac 1 -shortest sample.mp4预期结果:当前目录生成 sample.mp4,包含一条 MPEG-4 Part 2 视频流和一条 AAC 音频流,画面为测试图案,声音为 1000 Hz 正弦波。编码速度和文件大小会随 FFmpeg 构建及编码器实现变化。
这里刻意使用 mpeg4 编码器以减少对外部 H.264 编码库的依赖。MP4 是容器格式,并不表示其中的视频一定采用 H.264。
查看流索引和编码参数
使用 -show_streams 查看解复用器识别出的流。为了减少输出噪声,可以通过 -show_entries 指定字段,并用 JSON 格式打印。
ffprobe -v error -show_entries stream=index,codec_type,codec_name,width,height,r_frame_rate,sample_rate,channels,time_base -of json sample.mp4预期输出(保留关键字段,实际字段顺序可能不同):
{
"programs": [],
"streams": [
{
"index": 0,
"codec_name": "mpeg4",
"codec_type": "video",
"width": 320,
"height": 240,
"r_frame_rate": "25/1",
"time_base": "1/12800"
},
{
"index": 1,
"codec_name": "aac",
"codec_type": "audio",
"sample_rate": "48000",
"channels": 1,
"time_base": "1/48000"
}
]
}这里的时间基准是 FFmpeg 常见 MP4 封装结果,实际值应以本机探针输出为准。不同版本还可能额外输出 stream_groups 等字段。
| 字段 | 含义 | 如何使用 |
|---|---|---|
index |
流索引 | 使用 v:0、a:0 选择相应类型的第一条流 |
codec_name |
压缩编码格式 | 判断解码器是否支持 |
codec_type |
视频、音频或字幕等类型 | 区分媒体用途 |
width、height |
视频图像尺寸 | 判断分辨率 |
sample_rate |
音频每秒采样数 | 例如 48000 Hz |
time_base |
时间戳对应的单位 | 将整数时间戳换算为秒 |
注意,r_frame_rate 不一定等于可变帧率视频的平均帧率;分析平均帧率可另查 avg_frame_rate,分析实际帧间隔则需要检查逐帧或逐包时间戳。
读取数据包大小与时间信息
流参数描述这一路媒体如何解码,而 Packet 记录具体压缩数据。使用 -select_streams v:0 只查看第一条视频流,避免音频数据包混入结果。
ffprobe -v error -select_streams v:0 -show_packets -show_entries packet=stream_index,pts,pts_time,dts_time,duration_time,size,flags -of compact=p=0:nk=0 sample.mp4预期结果:终端逐行输出视频 Packet 的字段,例如 stream_index=0、pts_time=...、dts_time=...、duration_time=0.040000、size=... 和 flags=...。每个包的大小及时间值由编码结果决定,不能假设固定数值。
几个字段需要重点区分:
stream_index:该包属于哪条流,必须和流列表中的index对应。size:压缩数据包的字节数,不是解码后图像或 PCM 音频的大小。pts_time:显示时间戳,表示内容应在媒体时间线上的何时呈现。dts_time:解码时间戳,表示内容进入解码顺序的时间。duration_time:该包对应的时长;并非所有容器和流都保证提供该值。flags:包标志,其中K通常表示被标记为关键包。
例如一条 25 fps、固定帧间隔的视频,其相邻显示时间通常相差约 0.04 秒。若 time_base=1/12800,显示时间戳增加 512,则时间间隔为 512 / 12800 = 0.04 秒。
对于具有 B 帧重排序的视频,PTS 与 DTS 可能不同;不能将解码顺序直接当作播放顺序。本例 MPEG-4 编码命令没有主动启用 B 帧,通常较容易观察两者关系。

将探针结果用于实际排查
假设某个文件有画面却没有声音,先检查 codec_type 是否存在 audio,再确认 codec_name。如果不存在音频流,问题通常发生在采集、编码或封装之前,单纯更换播放器不能恢复缺失的数据。
如果音频流存在但播放不同步,应继续检查音视频包的 pts_time、dts_time 和 duration_time,并结合流的 time_base、起始时间及实际解码情况分析。不要只看 Packet 的出现顺序就断定同步是否正确。
排查时可以按以下顺序执行:
- 用
-show_streams确认流数量、类型与编码格式。 - 用
-select_streams a:0 -show_packets查看第一条音频流是否具有实际数据包。 - 用
-select_streams v:0 -show_packets检查视频 Packet 时间戳及大小是否符合预期。 - 对比两条流的时间覆盖范围,判断是否存在缺包、异常间隔或明显时间偏移。
还有一个容易混淆的现象:部分音频编码包含编码器延迟或预跳过信息,包的原始时间戳可能出现负值,不能据此直接判定文件损坏。
实际工作中,可以把三类信息分开记录:容器负责封装,Stream 提供解码所需参数,Packet 提供压缩数据及其时间信息。排查格式不兼容先看 codec_name,排查丢失媒体先看流和包是否存在,排查同步则重点检查时间戳与时长。