编码与格式 / 系统课时

区分轨道、数据包与编码参数

区分轨道、数据包与编码参数

拿到一个 MP4 文件时,怎样判断它包含哪些音视频流、每条流采用什么编码,以及实际数据包如何存储?本课使用 FFprobe 查看流索引、编码参数、包大小和时间戳,并把探针输出对应到媒体容器的实际结构。

学习目标

  • 区分容器、轨道、编码流和压缩数据包的职责。
  • 使用 FFprobe 查询视频与音频的编码参数及流索引。
  • 根据数据包的时间戳、大小和流索引判断媒体数据的组织方式。

从容器结构理解轨道和数据包

媒体容器负责把多路编码数据组织为一个文件,并保存播放所需的描述信息。以常见 MP4 为例,一个文件可以同时包含 H.264 视频、AAC 音频以及字幕轨道。

理解封装结构时,需要区分四个层次:

  • 容器(Container):MP4、Matroska 等文件格式,规定数据与元信息怎样存放。
  • 轨道(Track):容器内部组织某一路媒体样本的逻辑结构,例如视频轨道与音频轨道。
  • 流(Stream):FFprobe 向用户展示的媒体流抽象,通过 index 区分不同流。
  • 数据包(Packet):解复用器交给解码器的一份压缩数据,关联所属流、时间戳、时长和大小。

轨道不等于数据包。视频轨道可以包含数千帧对应的压缩样本,而探针会将解复用后的数据按 Packet 逐条展示。MP4 的磁盘存储布局也不一定是视频数据一段、音频数据一段;音视频样本通常可以交错排列。

MP4容器中视频轨道、音频轨道与交错数据包的关系

生成可复现的音视频样本

以下示例适用于包含 lavfi、mpeg4 和 AAC 编码支持的 FFmpeg 构建。先通过 ffmpeg -version 与 ffmpeg -encoders 检查安装情况,再生成一个 3 秒、25 fps 的测试文件。

bash
ffmpeg -hide_banner -y -f lavfi -i testsrc2=size=320x240:rate=25 -f lavfi -i sine=frequency=1000:sample_rate=48000 -t 3 -c:v mpeg4 -q:v 5 -c:a aac -b:a 128k -ar 48000 -ac 1 -shortest sample.mp4

预期结果:当前目录生成 sample.mp4,包含一条 MPEG-4 Part 2 视频流和一条 AAC 音频流,画面为测试图案,声音为 1000 Hz 正弦波。编码速度和文件大小会随 FFmpeg 构建及编码器实现变化。

这里刻意使用 mpeg4 编码器以减少对外部 H.264 编码库的依赖。MP4 是容器格式,并不表示其中的视频一定采用 H.264。

查看流索引和编码参数

使用 -show_streams 查看解复用器识别出的流。为了减少输出噪声,可以通过 -show_entries 指定字段,并用 JSON 格式打印。

bash
ffprobe -v error -show_entries stream=index,codec_type,codec_name,width,height,r_frame_rate,sample_rate,channels,time_base -of json sample.mp4

预期输出(保留关键字段,实际字段顺序可能不同):

json
{
  "programs": [],
  "streams": [
    {
      "index": 0,
      "codec_name": "mpeg4",
      "codec_type": "video",
      "width": 320,
      "height": 240,
      "r_frame_rate": "25/1",
      "time_base": "1/12800"
    },
    {
      "index": 1,
      "codec_name": "aac",
      "codec_type": "audio",
      "sample_rate": "48000",
      "channels": 1,
      "time_base": "1/48000"
    }
  ]
}

这里的时间基准是 FFmpeg 常见 MP4 封装结果,实际值应以本机探针输出为准。不同版本还可能额外输出 stream_groups 等字段。

字段 含义 如何使用
index 流索引 使用 v:0、a:0 选择相应类型的第一条流
codec_name 压缩编码格式 判断解码器是否支持
codec_type 视频、音频或字幕等类型 区分媒体用途
width、height 视频图像尺寸 判断分辨率
sample_rate 音频每秒采样数 例如 48000 Hz
time_base 时间戳对应的单位 将整数时间戳换算为秒

注意,r_frame_rate 不一定等于可变帧率视频的平均帧率;分析平均帧率可另查 avg_frame_rate,分析实际帧间隔则需要检查逐帧或逐包时间戳。

读取数据包大小与时间信息

流参数描述这一路媒体如何解码,而 Packet 记录具体压缩数据。使用 -select_streams v:0 只查看第一条视频流,避免音频数据包混入结果。

bash
ffprobe -v error -select_streams v:0 -show_packets -show_entries packet=stream_index,pts,pts_time,dts_time,duration_time,size,flags -of compact=p=0:nk=0 sample.mp4

预期结果:终端逐行输出视频 Packet 的字段,例如 stream_index=0、pts_time=...、dts_time=...、duration_time=0.040000、size=... 和 flags=...。每个包的大小及时间值由编码结果决定,不能假设固定数值。

几个字段需要重点区分:

  • stream_index:该包属于哪条流,必须和流列表中的 index 对应。
  • size:压缩数据包的字节数,不是解码后图像或 PCM 音频的大小。
  • pts_time:显示时间戳,表示内容应在媒体时间线上的何时呈现。
  • dts_time:解码时间戳,表示内容进入解码顺序的时间。
  • duration_time:该包对应的时长;并非所有容器和流都保证提供该值。
  • flags:包标志,其中 K 通常表示被标记为关键包。

例如一条 25 fps、固定帧间隔的视频,其相邻显示时间通常相差约 0.04 秒。若 time_base=1/12800,显示时间戳增加 512,则时间间隔为 512 / 12800 = 0.04 秒。

对于具有 B 帧重排序的视频,PTS 与 DTS 可能不同;不能将解码顺序直接当作播放顺序。本例 MPEG-4 编码命令没有主动启用 B 帧,通常较容易观察两者关系。

视频数据包的解码时间与显示时间关系

将探针结果用于实际排查

假设某个文件有画面却没有声音,先检查 codec_type 是否存在 audio,再确认 codec_name。如果不存在音频流,问题通常发生在采集、编码或封装之前,单纯更换播放器不能恢复缺失的数据。

如果音频流存在但播放不同步,应继续检查音视频包的 pts_time、dts_time 和 duration_time,并结合流的 time_base、起始时间及实际解码情况分析。不要只看 Packet 的出现顺序就断定同步是否正确。

排查时可以按以下顺序执行:

  1. 用 -show_streams 确认流数量、类型与编码格式。
  2. 用 -select_streams a:0 -show_packets 查看第一条音频流是否具有实际数据包。
  3. 用 -select_streams v:0 -show_packets 检查视频 Packet 时间戳及大小是否符合预期。
  4. 对比两条流的时间覆盖范围,判断是否存在缺包、异常间隔或明显时间偏移。

还有一个容易混淆的现象:部分音频编码包含编码器延迟或预跳过信息,包的原始时间戳可能出现负值,不能据此直接判定文件损坏。

实际工作中,可以把三类信息分开记录:容器负责封装,Stream 提供解码所需参数,Packet 提供压缩数据及其时间信息。排查格式不兼容先看 codec_name,排查丢失媒体先看流和包是否存在,排查同步则重点检查时间戳与时长。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

区分轨道、数据包与编码参数

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通