编码与格式 / 系统课时

通过 DPB 维护参考帧生命周期

通过 DPB 维护参考帧生命周期

视频解码器不能在解出一帧后立即丢弃它:这帧可能还要被后续图像引用,也可能尚未轮到显示。本课建立一个简化的解码图像缓冲区(DPB)模型,用具体帧序列跟踪图像入缓冲、保留、输出和释放的全过程,并估算缓冲区所需内存。

学习目标

  • 区分 DPB 中图像的参考用途与待输出状态。
  • 根据解码顺序和显示顺序,推演图像何时可以释放。
  • 计算参考图像数量、重排序需求与 DPB 内存占用。

DPB 为什么不能只保存上一帧

DPB(Decoded Picture Buffer,解码图像缓冲区)保存已经解码、但仍有用途的图像。这里的用途包括供后续图像进行帧间预测,以及等待按照正确的显示顺序输出。

例如,显示顺序为 I0、B1、B2、P3 的四幅图像,假设 B1、B2 都引用 I0 和 P3。解码器必须先获得 P3,才能完成两幅 B 图像的解码。

显示顺序 解码顺序 图像类型 参考关系
I0 1 I 不依赖其他图像
B1 3 B 引用 I0、P3
B2 4 B 引用 I0、P3
P3 2 P 引用 I0

这里使用 I、P、B 表示预测类型,数字代表显示位置,解码顺序从 1 开始。它是用于教学的简化结构;实际编码格式允许更多参考关系,B 图像也可能被其他图像引用。

显示顺序与解码顺序对比图

如果解码器只保存最新图像,解出 P3 后便丢弃 I0,那么 B1、B2 的前向参考就会丢失。因此,图像是否保留不能仅依据它是不是最新解码的一帧。

用两个独立条件判断生命周期

简化 DPB 模型为每幅已解码图像记录四个字段:图像标识、是否仍被用作参考、是否等待输出、占用字节数。

条件 含义 何时清除
仍需参考 后续解码还可能读取该图像 按参考图像管理规则取消参考资格
等待输出 图像尚未交付显示端 按输出顺序交付后

一幅图像可以同时处于两种用途之中。已经显示的图像仍可能作为参考;不再作为参考的图像也可能尚未输出。

在这个简化模型中,释放条件写成:不再作为参考,并且不再等待输出。两项都满足时,才可以回收该图像占用的 DPB 存储。

DPB 图像生命周期状态图

逐步推演四幅图像的保留与释放

沿用 I0、B1、B2、P3 的例子,并额外假设这四幅图像各输出一次,B1、B2 不被其他图像参考,P3 在本小段之后也不再被引用。

  1. 解码 I0:放入 DPB,标记仍需参考;按照显示顺序输出 I0,但继续保留其参考用途。
  2. 解码 P3:读取 I0 完成预测,P3 进入 DPB 并保留作为参考;P3 的显示位置在 B1、B2 后,因此暂时等待输出。
  3. 解码 B1:读取 I0 和 P3,完成后输出 B1;它不作为后续参考,可在输出后释放。
  4. 解码 B2:同样读取 I0 和 P3,输出 B2 后释放。假设后续不再需要 I0,此时取消 I0 的参考标记并释放。
  5. 输出 P3:在 B2 已输出后交付 P3;若 P3 也不再具有参考用途,则释放 P3。
操作完成后 DPB 中仍占空间的图像 说明
解码并输出 I0 I0 已输出,仍需参考
解码 P3 I0、P3 P3 等待输出
解码并输出 B1 I0、P3 B1 可立即释放
解码并输出 B2 I0、P3 B2 释放;I0 的取消参考操作尚未执行
取消 I0 参考标记 P3 I0 释放
输出 P3 并取消参考 无 全部图像释放

表格记录的是各操作完成后的缓冲区快照,未计入解码 B 图像时短暂增加的当前输出图像。若实现要求已解码图像在 DPB 中占槽,则解码 B1 或 B2、尚未输出之前会同时驻留 I0、P3 和当前 B 图像,峰值为 3 幅图像。

四幅图像的 DPB 占用时间线

需要注意,真实解码器不会依据这张表手工推断未来依赖,而是执行标准定义的参考图像管理和输出过程。上表中特定时机的取消参考属于已知完整小段依赖关系后的教学安排。

计算 DPB 的内存需求

假设视频为 1920×1080、8 bit、YUV 4:2:0,三个分量均按每样本 1 字节存储,不计行对齐、硬件平面间距和元数据。一幅解码图像的理论像素存储量为:

1920×1080×32=3110400 字节1920 \times 1080 \times \frac{3}{2}=3110400\ \text{字节}

约为 2.97 MiB。若同时驻留 3 幅完整图像,则像素数据约占 8.90 MiB;若驻留 6 幅,则约占 17.80 MiB。

同时驻留图像数 理论像素内存
2 5.93 MiB
3 8.90 MiB
4 11.87 MiB
6 17.80 MiB

参考图像数不等于 DPB 峰值图像数。 两幅图像用于预测时,可能还需要存放一幅等待输出的当前图像;重排序需求也会影响占用。反过来,已经输出但仍需参考的图像依旧占据空间。

对于 10 bit YUV 4:2:0,如果解码表面采用每样本 16 bit 的存储布局,同分辨率一幅图像的像素数据约为 5.93 MiB,而不是简单地按照 10/8 倍计算。实际显存还受 stride、对齐、辅助缓冲及解码器实现影响。

用解码轨迹检查缓冲区是否正确

实现 DPB 管理时,可以为每次图像解码、参考标记变化、输出和释放记录一条事件。最小检查表包含 pictureId、neededForReference、pendingOutput、residentCount 和事件类型。

以刚才的四幅图像为例,应检查以下边界:

  1. 解码 B1 前,I0 与 P3 都仍然可访问,否则属于过早释放。
  2. I0 输出后,只清除等待输出状态,不能因为已经显示就删除参考数据。
  3. B1 与 B2 输出完成且不承担后续参考时,能够回收对应存储,避免无用图像累积。
  4. 在 P3 尚未输出前,不能只因其不再被参考就立即释放。
  5. 每次插入图像前检查缓冲容量,统计当前驻留图像数与峰值,不把参考数量直接当作容量。

可以手工复盘这条轨迹:如果 DPB 容量只有 2 个完整图像槽,并且 B1 必须先完整进入 DPB 才能输出,那么 I0 与 P3 已占满容量,B1 无槽可用;本教学模型至少需要 3 个槽。若采用不同的输出和图像存储策略,必须根据真实解码器的缓冲管理规则重新验证容量。

DPB 管理是否正确,应同时用三个结果判断:后续预测能找到所有必需参考图像、显示输出顺序正确、图像在两种保留需求都消失后可以释放。只检查画面能够解码,无法发现延迟释放导致的内存持续增长。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

通过 DPB 维护参考帧生命周期

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通