编码与格式 / 系统课时
理清解码顺序与显示顺序
理清解码顺序与显示顺序
一段视频中的图像不一定按照播放顺序传输和解码。引入 B 图像后,解码器可能需要提前获得未来显示的参考图像,再回头解码中间图像。理解这套重排序机制,就能正确区分 PTS、DTS,并判断参考帧缓冲和播放延迟从哪里产生。
学习目标
- 区分显示顺序、编码顺序和解码顺序,解释 B 图像为什么可能需要重排序。
- 根据 PTS、DTS 和参考关系,推导一组图像的处理时间线。
- 估算帧重排序带来的缓冲需求与延迟,识别时间戳配置错误。
为什么显示在前的图像可能解码在后
视频编码中的 I、P、B 图像描述的是预测方式,而不是固定的播放顺序。I 图像可在不引用其他图像的情况下解码;P 图像通常使用已经解码的参考图像;B 图像可以使用显示时间在它之前或之后的参考图像,具体取决于编码结构。
假设视频按以下顺序播放,每张图像的编号代表显示位置:
| 显示位置 | 图像 | 预测依赖 |
|---|---|---|
| 0 | I0 | 不依赖其他图像 |
| 1 | B1 | 参考 I0、P3 |
| 2 | B2 | 参考 I0、P3 |
| 3 | P3 | 参考 I0 |
| 4 | B4 | 参考 P3、P6 |
| 5 | B5 | 参考 P3、P6 |
| 6 | P6 | 参考 P3 |
这里假设 B1、B2、B4、B5 都不作为其他图像的参考,并采用双向预测结构。为了正确解码 B1、B2,解码器必须先得到 P3;而 P3 又需要 I0。因此,前四张图像的解码顺序是 I0、P3、B1、B2,而显示顺序是 I0、B1、B2、P3。

注意:不是所有 B 图像都会造成同样的重排序。采用低延迟预测结构时,B 图像也可以只引用已经解码的较早图像;在 HEVC 等编码标准中,图像类型、参考关系和输出重排序深度也不能简单地通过 I/P/B 名称推断。
编码、解码与显示分别遵循什么顺序
编码器必须确保被引用的重建图像在预测当前图像时已经可用。对于刚才的双向预测示例,可以先编码 I0、P3,再编码 B1 和 B2;随后编码 P6,最后处理 B4、B5。这样的编码顺序也决定了码流需要提供给解码器的图像顺序。
解码器通常按照码流规定的解码顺序处理图像,同时依据标准中的输出顺序信息决定何时将已解码图像交给显示端。在 H.264 和 HEVC 中,POC(Picture Order Count)是描述图像输出顺序的重要机制;它不等同于容器时间戳。

这里有两个不同职责的缓冲空间:
- 解码图像缓冲区 DPB 保存需要作为参考或等待输出的已解码图像,是否保留某张图像由编码标准的参考管理和输出规则决定。
- 播放器可能另设输出队列,按照时间戳组织呈现,并配合音视频同步时钟控制实际显示时间。
因此,解码完成不等于立即显示,也不代表图像一定还需要作为参考帧保留。一个图像可以不再被参考,却仍然等待输出。
用 PTS 和 DTS 核对重排序
DTS(Decoding Time Stamp)表示压缩访问单元应进入解码过程的时间,PTS(Presentation Time Stamp)表示图像应被呈现的时间。它们通常属于容器或传输系统的时间戳体系,而不是直接写在每张原始像素图像上的属性。
假设恒定帧率为 25 fps,每帧显示间隔 40 ms。下面给出一个用于理解重排序的简化时间轴:从 DTS 为 0 ms 的位置开始按解码顺序送入图像,首个 PTS 设为 80 ms,为后续需要的前向参考预留两个帧间隔。
| 解码顺序 | 图像 | DTS(ms) | PTS(ms) | PTS-DTS(ms) |
|---|---|---|---|---|
| 0 | I0 | 0 | 80 | 80 |
| 1 | P3 | 40 | 200 | 160 |
| 2 | B1 | 80 | 120 | 40 |
| 3 | B2 | 120 | 160 | 40 |
| 4 | P6 | 160 | 320 | 160 |
| 5 | B4 | 200 | 240 | 40 |
| 6 | B5 | 240 | 280 | 40 |
按 DTS 排序得到 I0、P3、B1、B2、P6、B4、B5;按 PTS 排序得到 I0、B1、B2、P3、B4、B5、P6。两种顺序不同,但两列时间戳各自严格递增的条件并不相同:DTS 在此示例中递增,PTS 沿解码顺序则会前后跳动。
这个表使用人为选择的时间原点,不是规定所有 B 图像都必须具有正的 PTS-DTS。真实文件可以采用不同的时间戳起点、重排序深度和组合时间偏移,某些封装还允许负的组成时间偏移。不能仅凭 PTS-DTS 是否大于零判断文件有无 B 图像。
重排序如何引入缓冲与延迟
对前述 I0、B1、B2、P3 结构,解码 B1、B2 时必须已经得到 P3。因此,在持续解码和有序输出的过程中,解码器需要管理提前得到的参考图像,以及已经解码但尚未轮到显示的图像。
如果以显示顺序估算,P3 相对于 B1、B2 提前进入解码过程两个图像位置,对应的典型重排序跨度为两个帧间隔。25 fps 下,两个间隔为 80 ms;60 fps 下约为 33.3 ms。
但这个数字只是该结构的时间跨度估算,不等于所有实现中的首帧延迟,也不能直接当作 DPB 必须额外容纳的两张图像。实际端到端延迟还包括编码器前瞻、码率控制、参考管理、网络抖动缓冲、解码执行、音视频同步和显示刷新等待。

可以通过两个维度判断缓冲影响:
- 输出重排序深度:需要提前解码多少显示位置更靠后的图像。它影响图像输出等待,并受到标准、级别和码流约束。
- 参考图像数量:预测链要求同时保留多少已解码参考图像。它影响 DPB 容量,却不与重排序深度一一对应。
例如,1080p、8-bit、4:2:0 的一张解码图像,其有效像素平面的理论存储量约为 1920 × 1080 × 1.5 = 3,110,400 字节,约 2.97 MiB。若有四张这类未压缩图像同时保留,仅像素平面就约需 11.87 MiB;实际分配还可能包含对齐、边界扩展和硬件表面开销。
检查时间戳与定位播放异常
使用 FFmpeg 配套的 ffprobe 可以检查真实文件中的帧时间戳。下面的命令适用于支持相应字段的常见 FFmpeg 版本,会列出视频帧的图像类型、显示时间戳以及解码时间戳。
ffprobe -v error -select_streams v:0 -show_frames -show_entries frame=pict_type,pts_time,pkt_dts_time -of csv=p=0 input.mp4预期结果:命令逐行列出帧类型和可用的时间戳信息。具体列值取决于输入视频,缺失字段可能显示为 N/A;现代解码流程中的帧级 DTS 也可能不可用,因此不应编造固定输出。若需要直接核对压缩数据的解码顺序,应进一步检查 -show_packets 得到的 packet DTS 与 PTS,并确认一个 packet 是否对应一个完整图像访问单元。
下面的命令读取压缩视频包中的时间戳:
ffprobe -v error -select_streams v:0 -show_packets -show_entries packet=pts_time,dts_time,flags -of csv=p=0 input.mp4预期结果:能够看到按包读取顺序列出的 PTS、DTS 及标志字段。实际值随文件而变;对于正常的含重排序视频,包顺序通常按 DTS 推进,而 PTS 不一定单调递增。上述命令不会修改输入文件。
排查时重点区分三种问题:
- 画面顺序错乱:先检查编码码流是否完整、参考图像是否丢失,再确认解码器有没有遵守输出顺序;不能简单地把所有帧按收到的顺序直接显示。
- 播放出现卡顿或同步漂移:检查 PTS 间隔、时间基准、时间戳是否缺失以及播放器同步策略。不要通过强行把 PTS 改成 DTS 来修复 B 图像重排序。
- 实时直播延迟偏高:同时检查 B 图像结构、编码器前瞻、发送缓冲、网络缓冲和播放器缓存。仅关闭 B 图像不保证总延迟按某个固定值下降。
最后可以做一个核对练习:若一组图像按显示顺序为 I0、B1、B2、P3,B1 和 B2 都依赖 P3,那么正确解码顺序应为 I0、P3、B1、B2。只要能从参考依赖推导出这个顺序,再用 DTS 检查处理顺序、用 PTS 检查呈现顺序,就能避免把正常的帧重排序误判为时间戳错误。