编码与格式 / 系统课时
解释 B 帧导致的显示顺序变化
解释 B 帧导致的显示顺序变化
视频文件中的压缩帧不一定按照观众看到的顺序存放。引入 B 帧后,解码器可能需要先处理未来才显示的参考帧,再还原当前画面。本篇通过一组具体帧序列,解释解码顺序、显示顺序、DTS、PTS 和播放器重排序之间的关系,并学会判断时间戳是否合理。
学习目标
- 区分 I、P、B 帧的参考关系,理解为什么解码顺序可能不同于显示顺序。
- 根据实际帧序列计算 DTS 与 PTS,解释两者出现差异的原因。
- 理解播放器的重排序过程,并识别时间戳异常与正常重排序的区别。
为什么 B 帧会改变处理顺序
I 帧通常可以不依赖其他图像完成解码;P 帧可以利用先前的参考图像;传统双向预测 B 帧可以同时利用显示时间更早和更晚的参考图像。这里的先前与未来,都是相对于画面的显示时间而言,而不是数据包在文件中的位置。
假设视频显示顺序为 I0、B1、B2、P3,其中数字代表显示序号。B1、B2 需要利用 I0 和 P3 作为参考图像,因此解码器必须先获得并解码 P3,才能解码 B1、B2。
于是出现两种顺序:
- 显示顺序:I0、B1、B2、P3。
- 解码顺序:I0、P3、B1、B2。

需要注意,B 帧并非在所有编码模式下都同时参考前后两帧。现代编码标准允许更灵活的参考列表,有些 B 帧还可以作为其他帧的参考。本例使用最容易观察重排序的传统结构,不能把所有 B 帧都理解为必然依赖两个方向的参考帧。
用时间戳还原两种顺序
DTS(Decoding Time Stamp)表示压缩数据应当进入解码过程的时间,PTS(Presentation Time Stamp)表示解码后的画面应当呈现的时间。两者通常换算到同一时间单位后比较,不能直接把不同时间基的整数相减。
假设视频为恒定 25 fps,每帧显示间隔 40 ms,且示例时间轴从 0 ms 开始。我们给前述四个帧分配如下时间戳:
| 数据包读取顺序 | 帧类型 | DTS(ms) | PTS(ms) |
|---|---|---|---|
| 1 | I0 | 0 | 0 |
| 2 | P3 | 40 | 120 |
| 3 | B1 | 80 | 40 |
| 4 | B2 | 120 | 80 |
这组数据刻意采用零起点且允许 PTS 小于 DTS 的简化时间轴,用来展示顺序关系;真实封装文件可能整体平移时间戳,并为初始重排序设置解码时间偏移。
沿 DTS 从小到大观察,解码顺序是 I0、P3、B1、B2;沿 PTS 从小到大观察,显示顺序是 I0、B1、B2、P3。
特别观察 P3:它在 40 ms 解码,但直到 120 ms 才显示,因此它的 PTS 比 DTS 大 80 ms。B1 的 PTS 为 40 ms,却在示例时间轴的 80 ms 才解码。不能据此认为播放器应该在 40 ms 尚未解码时显示 B1;实际播放会通过初始缓冲、时间戳偏移或播放时钟映射保证数据提前准备就绪。
播放器如何重排序
播放器读取容器中的视频包后,通常按解码顺序把压缩包送给解码器。解码器根据参考依赖还原图像,再通过内部解码图像缓冲区(DPB)及输出机制,让图像按正确的显示顺序交付后续渲染环节。
以前述四帧为例,观察解码与输出动作:
- 解码 I0,得到可供后续预测的参考图像,并按照输出规则输出 I0。
- 解码 P3,将其作为未来显示位置的参考图像保留,此时不急于输出 P3。
- 解码 B1,利用已经解码的参考图像重建画面,按显示顺序输出 B1。
- 解码 B2,重建并输出 B2;之后按输出规则输出已解码的 P3。

DPB 并不是一个简单的先进先出队列。它需要同时管理参考图像和待输出图像;参考图像可能在显示后继续保留,也可能按编码标准规定的条件释放。具体缓冲需求受编码配置、参考结构和解码器实现影响,不能仅凭 B 帧数量精确推导内存占用。
另外,渲染端还会根据 PTS 和播放时钟选择展示时机。解码器完成重排序与播放器按时钟呈现,是相关但不同的两个职责。
实际文件中如何判断顺序
可以使用 FFmpeg 提供的 ffprobe 查看压缩包和解码后帧的信息。以下命令适用于安装了 FFmpeg 工具的环境,将 input.mp4 替换为包含 B 帧的视频文件。
# 查看视频压缩包的时间戳及文件顺序
ffprobe -v error -select_streams v:0 -show_entries packet=pts_time,dts_time,flags -of csv=p=0 input.mp4
# 查看解码器报告的视频帧显示时间与帧类型
ffprobe -v error -select_streams v:0 -show_frames -show_entries frame=best_effort_timestamp_time,pict_type -of csv=p=0 input.mp4预期结果:第一条命令输出每个视频包的 PTS、DTS 和标志位;第二条命令输出帧时间及 I、P、B 类型。具体数值、包顺序和帧类型取决于文件编码方式,不能保证任意输入文件都出现本例的四帧结构。
验证时优先观察三个现象:
- 在同一视频流中,通常可以看到有效 DTS 按解码顺序递增,而 PTS 可能在相邻包之间回退。
- 将包的有效 PTS 按数值排序后,可以还原其预期显示时间顺序;遇到重复或缺失时间戳时,需要结合具体封装与编码信息判断。
- 如果视频没有 B 帧或没有发生重排序,PTS 和 DTS 可能相等,因此二者相等不能证明时间戳字段没有作用。
有些文件会出现负 DTS、缺失时间戳或非零起始时间,这不必然代表损坏。读取容器时还要留意 time_base:假设时间基为 1/90000,PTS 为 3600,则对应 0.04 秒;若把 3600 误当成毫秒,就会得到完全错误的显示时间。
容易混淆的两个问题
首先,不要把文件包顺序直接当成播放顺序。例如用解码顺序 I0、P3、B1、B2 直接显示,观众会先看到未来的 P3,再返回 B1,表现为画面跳跃。正确做法是遵循解码器输出规则和有效显示时间戳。
其次,B 帧重排序会增加播放前需要准备的数据量,但延迟并不只由 B 帧决定。若 25 fps 的示例必须提前获取两帧显示时间之后的参考图像,就涉及约 80 ms 的前向参考跨度;实际端到端延迟还包括编码预读、传输缓冲、解码和显示排队,不能直接认定总延迟等于 80 ms。
对于低延迟互动直播,编码器可能减少 B 帧或采用不需要未来显示帧作为参考的结构;对于文件点播,可以接受一定重排序以换取更好的压缩效率。判断一段视频是否真正发生重排序,最直接的方法是比较同一批压缩包按 DTS 与 PTS 排列后的帧顺序,而不是只看视频中有没有字母 B。