编码与格式 / 系统课时

解释 B 帧导致的显示顺序变化

解释 B 帧导致的显示顺序变化

视频文件中的压缩帧不一定按照观众看到的顺序存放。引入 B 帧后,解码器可能需要先处理未来才显示的参考帧,再还原当前画面。本篇通过一组具体帧序列,解释解码顺序、显示顺序、DTS、PTS 和播放器重排序之间的关系,并学会判断时间戳是否合理。

学习目标

  • 区分 I、P、B 帧的参考关系,理解为什么解码顺序可能不同于显示顺序。
  • 根据实际帧序列计算 DTS 与 PTS,解释两者出现差异的原因。
  • 理解播放器的重排序过程,并识别时间戳异常与正常重排序的区别。

为什么 B 帧会改变处理顺序

I 帧通常可以不依赖其他图像完成解码;P 帧可以利用先前的参考图像;传统双向预测 B 帧可以同时利用显示时间更早和更晚的参考图像。这里的先前与未来,都是相对于画面的显示时间而言,而不是数据包在文件中的位置。

假设视频显示顺序为 I0、B1、B2、P3,其中数字代表显示序号。B1、B2 需要利用 I0 和 P3 作为参考图像,因此解码器必须先获得并解码 P3,才能解码 B1、B2。

于是出现两种顺序:

  • 显示顺序:I0、B1、B2、P3。
  • 解码顺序:I0、P3、B1、B2。

B 帧参考关系与两种顺序对照图

需要注意,B 帧并非在所有编码模式下都同时参考前后两帧。现代编码标准允许更灵活的参考列表,有些 B 帧还可以作为其他帧的参考。本例使用最容易观察重排序的传统结构,不能把所有 B 帧都理解为必然依赖两个方向的参考帧。

用时间戳还原两种顺序

DTS(Decoding Time Stamp)表示压缩数据应当进入解码过程的时间,PTS(Presentation Time Stamp)表示解码后的画面应当呈现的时间。两者通常换算到同一时间单位后比较,不能直接把不同时间基的整数相减。

假设视频为恒定 25 fps,每帧显示间隔 40 ms,且示例时间轴从 0 ms 开始。我们给前述四个帧分配如下时间戳:

数据包读取顺序 帧类型 DTS(ms) PTS(ms)
1 I0 0 0
2 P3 40 120
3 B1 80 40
4 B2 120 80

这组数据刻意采用零起点且允许 PTS 小于 DTS 的简化时间轴,用来展示顺序关系;真实封装文件可能整体平移时间戳,并为初始重排序设置解码时间偏移。

沿 DTS 从小到大观察,解码顺序是 I0、P3、B1、B2;沿 PTS 从小到大观察,显示顺序是 I0、B1、B2、P3。

特别观察 P3:它在 40 ms 解码,但直到 120 ms 才显示,因此它的 PTS 比 DTS 大 80 ms。B1 的 PTS 为 40 ms,却在示例时间轴的 80 ms 才解码。不能据此认为播放器应该在 40 ms 尚未解码时显示 B1;实际播放会通过初始缓冲、时间戳偏移或播放时钟映射保证数据提前准备就绪。

播放器如何重排序

播放器读取容器中的视频包后,通常按解码顺序把压缩包送给解码器。解码器根据参考依赖还原图像,再通过内部解码图像缓冲区(DPB)及输出机制,让图像按正确的显示顺序交付后续渲染环节。

以前述四帧为例,观察解码与输出动作:

  1. 解码 I0,得到可供后续预测的参考图像,并按照输出规则输出 I0。
  2. 解码 P3,将其作为未来显示位置的参考图像保留,此时不急于输出 P3。
  3. 解码 B1,利用已经解码的参考图像重建画面,按显示顺序输出 B1。
  4. 解码 B2,重建并输出 B2;之后按输出规则输出已解码的 P3。

B 帧解码缓存与输出时序图

DPB 并不是一个简单的先进先出队列。它需要同时管理参考图像和待输出图像;参考图像可能在显示后继续保留,也可能按编码标准规定的条件释放。具体缓冲需求受编码配置、参考结构和解码器实现影响,不能仅凭 B 帧数量精确推导内存占用。

另外,渲染端还会根据 PTS 和播放时钟选择展示时机。解码器完成重排序与播放器按时钟呈现,是相关但不同的两个职责。

实际文件中如何判断顺序

可以使用 FFmpeg 提供的 ffprobe 查看压缩包和解码后帧的信息。以下命令适用于安装了 FFmpeg 工具的环境,将 input.mp4 替换为包含 B 帧的视频文件。

bash
# 查看视频压缩包的时间戳及文件顺序
ffprobe -v error -select_streams v:0 -show_entries packet=pts_time,dts_time,flags -of csv=p=0 input.mp4

# 查看解码器报告的视频帧显示时间与帧类型
ffprobe -v error -select_streams v:0 -show_frames -show_entries frame=best_effort_timestamp_time,pict_type -of csv=p=0 input.mp4

预期结果:第一条命令输出每个视频包的 PTS、DTS 和标志位;第二条命令输出帧时间及 I、P、B 类型。具体数值、包顺序和帧类型取决于文件编码方式,不能保证任意输入文件都出现本例的四帧结构。

验证时优先观察三个现象:

  1. 在同一视频流中,通常可以看到有效 DTS 按解码顺序递增,而 PTS 可能在相邻包之间回退。
  2. 将包的有效 PTS 按数值排序后,可以还原其预期显示时间顺序;遇到重复或缺失时间戳时,需要结合具体封装与编码信息判断。
  3. 如果视频没有 B 帧或没有发生重排序,PTS 和 DTS 可能相等,因此二者相等不能证明时间戳字段没有作用。

有些文件会出现负 DTS、缺失时间戳或非零起始时间,这不必然代表损坏。读取容器时还要留意 time_base:假设时间基为 1/90000,PTS 为 3600,则对应 0.04 秒;若把 3600 误当成毫秒,就会得到完全错误的显示时间。

容易混淆的两个问题

首先,不要把文件包顺序直接当成播放顺序。例如用解码顺序 I0、P3、B1、B2 直接显示,观众会先看到未来的 P3,再返回 B1,表现为画面跳跃。正确做法是遵循解码器输出规则和有效显示时间戳。

其次,B 帧重排序会增加播放前需要准备的数据量,但延迟并不只由 B 帧决定。若 25 fps 的示例必须提前获取两帧显示时间之后的参考图像,就涉及约 80 ms 的前向参考跨度;实际端到端延迟还包括编码预读、传输缓冲、解码和显示排队,不能直接认定总延迟等于 80 ms。

对于低延迟互动直播,编码器可能减少 B 帧或采用不需要未来显示帧作为参考的结构;对于文件点播,可以接受一定重排序以换取更好的压缩效率。判断一段视频是否真正发生重排序,最直接的方法是比较同一批压缩包按 DTS 与 PTS 排列后的帧顺序,而不是只看视频中有没有字母 B。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

解释 B 帧导致的显示顺序变化

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通