编码与格式 / 系统课时

理清解码顺序与显示顺序

理清解码顺序与显示顺序

一段视频中的图像不一定按照播放顺序传输和解码。引入 B 图像后,解码器可能需要提前获得未来显示的参考图像,再回头解码中间图像。理解这套重排序机制,就能正确区分 PTS、DTS,并判断参考帧缓冲和播放延迟从哪里产生。

学习目标

  • 区分显示顺序、编码顺序和解码顺序,解释 B 图像为什么可能需要重排序。
  • 根据 PTS、DTS 和参考关系,推导一组图像的处理时间线。
  • 估算帧重排序带来的缓冲需求与延迟,识别时间戳配置错误。

为什么显示在前的图像可能解码在后

视频编码中的 I、P、B 图像描述的是预测方式,而不是固定的播放顺序。I 图像可在不引用其他图像的情况下解码;P 图像通常使用已经解码的参考图像;B 图像可以使用显示时间在它之前或之后的参考图像,具体取决于编码结构。

假设视频按以下顺序播放,每张图像的编号代表显示位置:

显示位置 图像 预测依赖
0 I0 不依赖其他图像
1 B1 参考 I0、P3
2 B2 参考 I0、P3
3 P3 参考 I0
4 B4 参考 P3、P6
5 B5 参考 P3、P6
6 P6 参考 P3

这里假设 B1、B2、B4、B5 都不作为其他图像的参考,并采用双向预测结构。为了正确解码 B1、B2,解码器必须先得到 P3;而 P3 又需要 I0。因此,前四张图像的解码顺序是 I0、P3、B1、B2,而显示顺序是 I0、B1、B2、P3。

显示顺序与解码顺序对比

注意:不是所有 B 图像都会造成同样的重排序。采用低延迟预测结构时,B 图像也可以只引用已经解码的较早图像;在 HEVC 等编码标准中,图像类型、参考关系和输出重排序深度也不能简单地通过 I/P/B 名称推断。

编码、解码与显示分别遵循什么顺序

编码器必须确保被引用的重建图像在预测当前图像时已经可用。对于刚才的双向预测示例,可以先编码 I0、P3,再编码 B1 和 B2;随后编码 P6,最后处理 B4、B5。这样的编码顺序也决定了码流需要提供给解码器的图像顺序。

解码器通常按照码流规定的解码顺序处理图像,同时依据标准中的输出顺序信息决定何时将已解码图像交给显示端。在 H.264 和 HEVC 中,POC(Picture Order Count)是描述图像输出顺序的重要机制;它不等同于容器时间戳。

编码解码与显示缓冲时序

这里有两个不同职责的缓冲空间:

  • 解码图像缓冲区 DPB 保存需要作为参考或等待输出的已解码图像,是否保留某张图像由编码标准的参考管理和输出规则决定。
  • 播放器可能另设输出队列,按照时间戳组织呈现,并配合音视频同步时钟控制实际显示时间。

因此,解码完成不等于立即显示,也不代表图像一定还需要作为参考帧保留。一个图像可以不再被参考,却仍然等待输出。

用 PTS 和 DTS 核对重排序

DTS(Decoding Time Stamp)表示压缩访问单元应进入解码过程的时间,PTS(Presentation Time Stamp)表示图像应被呈现的时间。它们通常属于容器或传输系统的时间戳体系,而不是直接写在每张原始像素图像上的属性。

假设恒定帧率为 25 fps,每帧显示间隔 40 ms。下面给出一个用于理解重排序的简化时间轴:从 DTS 为 0 ms 的位置开始按解码顺序送入图像,首个 PTS 设为 80 ms,为后续需要的前向参考预留两个帧间隔。

解码顺序 图像 DTS(ms) PTS(ms) PTS-DTS(ms)
0 I0 0 80 80
1 P3 40 200 160
2 B1 80 120 40
3 B2 120 160 40
4 P6 160 320 160
5 B4 200 240 40
6 B5 240 280 40

按 DTS 排序得到 I0、P3、B1、B2、P6、B4、B5;按 PTS 排序得到 I0、B1、B2、P3、B4、B5、P6。两种顺序不同,但两列时间戳各自严格递增的条件并不相同:DTS 在此示例中递增,PTS 沿解码顺序则会前后跳动。

这个表使用人为选择的时间原点,不是规定所有 B 图像都必须具有正的 PTS-DTS。真实文件可以采用不同的时间戳起点、重排序深度和组合时间偏移,某些封装还允许负的组成时间偏移。不能仅凭 PTS-DTS 是否大于零判断文件有无 B 图像。

重排序如何引入缓冲与延迟

对前述 I0、B1、B2、P3 结构,解码 B1、B2 时必须已经得到 P3。因此,在持续解码和有序输出的过程中,解码器需要管理提前得到的参考图像,以及已经解码但尚未轮到显示的图像。

如果以显示顺序估算,P3 相对于 B1、B2 提前进入解码过程两个图像位置,对应的典型重排序跨度为两个帧间隔。25 fps 下,两个间隔为 80 ms;60 fps 下约为 33.3 ms。

但这个数字只是该结构的时间跨度估算,不等于所有实现中的首帧延迟,也不能直接当作 DPB 必须额外容纳的两张图像。实际端到端延迟还包括编码器前瞻、码率控制、参考管理、网络抖动缓冲、解码执行、音视频同步和显示刷新等待。

帧重排序对播放启动的影响

可以通过两个维度判断缓冲影响:

  1. 输出重排序深度:需要提前解码多少显示位置更靠后的图像。它影响图像输出等待,并受到标准、级别和码流约束。
  2. 参考图像数量:预测链要求同时保留多少已解码参考图像。它影响 DPB 容量,却不与重排序深度一一对应。

例如,1080p、8-bit、4:2:0 的一张解码图像,其有效像素平面的理论存储量约为 1920 × 1080 × 1.5 = 3,110,400 字节,约 2.97 MiB。若有四张这类未压缩图像同时保留,仅像素平面就约需 11.87 MiB;实际分配还可能包含对齐、边界扩展和硬件表面开销。

检查时间戳与定位播放异常

使用 FFmpeg 配套的 ffprobe 可以检查真实文件中的帧时间戳。下面的命令适用于支持相应字段的常见 FFmpeg 版本,会列出视频帧的图像类型、显示时间戳以及解码时间戳。

bash
ffprobe -v error -select_streams v:0 -show_frames -show_entries frame=pict_type,pts_time,pkt_dts_time -of csv=p=0 input.mp4

预期结果:命令逐行列出帧类型和可用的时间戳信息。具体列值取决于输入视频,缺失字段可能显示为 N/A;现代解码流程中的帧级 DTS 也可能不可用,因此不应编造固定输出。若需要直接核对压缩数据的解码顺序,应进一步检查 -show_packets 得到的 packet DTS 与 PTS,并确认一个 packet 是否对应一个完整图像访问单元。

下面的命令读取压缩视频包中的时间戳:

bash
ffprobe -v error -select_streams v:0 -show_packets -show_entries packet=pts_time,dts_time,flags -of csv=p=0 input.mp4

预期结果:能够看到按包读取顺序列出的 PTS、DTS 及标志字段。实际值随文件而变;对于正常的含重排序视频,包顺序通常按 DTS 推进,而 PTS 不一定单调递增。上述命令不会修改输入文件。

排查时重点区分三种问题:

  • 画面顺序错乱:先检查编码码流是否完整、参考图像是否丢失,再确认解码器有没有遵守输出顺序;不能简单地把所有帧按收到的顺序直接显示。
  • 播放出现卡顿或同步漂移:检查 PTS 间隔、时间基准、时间戳是否缺失以及播放器同步策略。不要通过强行把 PTS 改成 DTS 来修复 B 图像重排序。
  • 实时直播延迟偏高:同时检查 B 图像结构、编码器前瞻、发送缓冲、网络缓冲和播放器缓存。仅关闭 B 图像不保证总延迟按某个固定值下降。

最后可以做一个核对练习:若一组图像按显示顺序为 I0、B1、B2、P3,B1 和 B2 都依赖 P3,那么正确解码顺序应为 I0、P3、B1、B2。只要能从参考依赖推导出这个顺序,再用 DTS 检查处理顺序、用 PTS 检查呈现顺序,就能避免把正常的帧重排序误判为时间戳错误。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

理清解码顺序与显示顺序

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通