编码与格式 / 系统课时

用 IDR 和 CRA 划定随机访问点

用 IDR 和 CRA 划定随机访问点

播放器拖动进度条或直播观众中途加入时,解码器必须找到一个不依赖缺失历史参考帧的位置。本篇通过 H.264 的 IDR、H.265 的 CRA 及参考关系示例,说明怎样确定安全切入点,为什么普通 I 图像不能直接当作随机访问点,以及开放 GOP 下需要丢弃哪些图像。

学习目标

  • 区分普通 I 图像、IDR 图像和 CRA 图像的随机访问能力。
  • 根据解码顺序、显示顺序和参考关系判断能否安全切入。
  • 为点播拖动和分段播放选择合适的随机访问结构。

随机访问要求的不只是帧内编码

随机访问(Random Access)是指从码流中间某个访问单元开始,在不解码更早图像的前提下,正确解码该位置及规定的后续图像。

这里必须同时满足两个条件:切入图像本身能够独立解码;需要输出的后续图像不能依赖切入点之前尚未解码的参考图像。

I 图像主要表示其编码块使用帧内预测,不从其他图像进行帧间预测。但普通 I 图像不会自动清除解码图像缓冲区(DPB)中的旧参考图像,也不禁止后续 P、B 图像引用切入点之前的图像。

假设按解码顺序有如下结构:

图像 编码类型 参考关系
A P 参考更早图像
B I(非 IDR) 独立解码自身
C P 参考 A
D P 参考 B、C

如果从 B 开始解码,B 可以正常重建,但 C 所需的 A 不存在,因此 C 可能无法正确解码,D 也可能受到影响。仅检查 B 的帧内预测类型显然不够。

普通 I 图像与真正随机访问点的参考依赖对比

H.264 的 IDR 如何切断历史参考

IDR 是 Instantaneous Decoding Refresh,即瞬时解码刷新。在 H.264/AVC 中,IDR 图像使用 NAL 单元类型 5,而普通非 IDR 编码图像通常使用类型 1。

IDR 图像可以独立解码,并使之前的参考图像不再用于后续帧间预测。这样,后续按解码顺序到来的图像不需要引用 IDR 之前的图像,形成明确的参考边界。

一个简化的闭合 GOP 示例为:

解码顺序 图像 允许使用的历史参考
0 P0 更早的参考图像
1 IDR1 不需要历史参考
2 P2 IDR1
3 B3 IDR1、P2
4 P4 IDR1、P2、B3(若 B3 可作参考)

从 IDR1 切入后,只要具有所需的参数集及完整编码数据,就能从这个新的参考边界开始解码。表中的具体参考选择仅用于举例,并非编码器必须采用的固定结构。

IDR 还会影响 DPB 中参考图像的管理和输出过程。在 H.264 中,IDR 图像的相关语法可以决定之前尚未输出的图像如何处理;因此,不能把刷新历史参考简单理解为无条件清空所有显示画面。

实际检查 H.264 码流时,需要区分以下信息:

  • SPS、PPS:提供当前图像解码所需的序列和图像参数。
  • NAL 类型 5:表示 IDR 编码片所属图像。
  • NAL 类型 1:表示非 IDR 编码片,片类型可以是 I、P、B 等。
  • 访问单元边界:应确认拿到了整幅图像的数据,而不只是某一个编码片。

例如,切在 IDR 的编码片中间,即使遇到类型 5,也不能视为获得了完整的独立解码入口。

H.265 的 CRA 为什么允许开放 GOP

H.265/HEVC 引入 IRAP(Intra Random Access Point)图像类别,其中包含 IDR、CRA 和 BLA 等类型。CRA 是 Clean Random Access,NAL 单元类型为 21;HEVC 的 IDR 则使用类型 19 或 20。

CRA 自身可以独立解码,并保证按规定从该点随机访问时,CRA 之后需要输出的非 RASL 图像能够正确解码。但它允许某些在解码顺序上位于 CRA 之后、显示顺序上位于 CRA 之前的图像引用更早的参考图像。

这些特殊图像称为 Leading Pictures,需要区分两类:

类型 HEVC NAL 类型 从关联 IRAP 切入时的行为
RADL 6、7 可以正确解码
RASL 8、9 可能缺少历史参考,随机访问时通常跳过

假设图像按显示时间排列为 P0、B1、B2、CRA3、P4,而编码器允许 B1、B2 使用 CRA3 进行双向预测,实际解码顺序便可能是 P0、CRA3、B1、B2、P4。

其中 B1、B2 若还引用 P0,就属于需要历史图像的 RASL 情况。从 CRA3 新进入码流时,P0 不存在,应跳过这些 RASL 图像,继续解码 P4 等可正确解码的后续图像。

CRA 开放 GOP 的显示顺序与解码顺序

CRA 的价值在于允许编码器使用更灵活的开放 GOP 结构,减少为强制闭合参考关系而产生的编码限制。但如果业务要求从切入点开始立即输出所有相关图像,就必须考虑 RASL 的丢弃及时间戳处理。

怎样为拖动和分段播放划定切入点

设计点播随机访问结构时,先确定可接受的定位粒度,再决定刷新点间隔和 GOP 组织方式。

例如视频为 30 fps,要求播放器最多每 2 秒有一个可供快速定位的随机访问点,可以按 60 帧左右安排一次 IDR 或合适的 CRA。假设目标时刻为 13.4 秒,前一个随机访问点在 12 秒,播放器通常需要从 12 秒开始解码,再根据显示时间戳选择从目标附近输出画面。

具体选择可按以下规则执行:

  1. H.264 需要可靠的独立切入时,优先使用 IDR,并保证切入处具备必要的 SPS、PPS。
  2. H.265 希望使用开放 GOP 改善编码效率时,可以使用 CRA,但必须按随机访问规则处理关联的 RASL 图像。
  3. 制作需要独立解码的媒体分段时,检查分段首个可用访问单元及后续参考关系,不要仅根据每段第一幅图像是不是 I 图像判断。
  4. 校验时间戳时,分别处理解码顺序与显示顺序;存在 B 图像时,两者可能不同。

对 HEVC,还应确保可用的 VPS、SPS、PPS;对于容器格式中的参数集外置方案,应在创建解码器时正确提供,而不是假设所有参数集都会在随机访问点前重复出现。

验收时可以选取三个位置:文件起始、GOP 中间、紧邻分段边界。分别清空解码状态,从最近的候选随机访问点重新解码,检查首幅输出图像、后续图像的正确性,以及显示时间戳是否连续合理。

如果在普通 I 图像处切入后出现花屏,而从 IDR 切入正常,首先检查后续 P、B 图像是否存在跨切入点参考。若从 CRA 切入时只有少量前导图像不能正确重建,则重点检查它们是否属于需要跳过的 RASL,而不要直接判定整个 GOP 损坏。

对于需要简单可靠切入的场景,IDR 通常更容易管理;允许开放 GOP 的场景可以利用 CRA,但播放、封装与分段逻辑必须共同遵守参考图像和前导图像规则。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

用 IDR 和 CRA 划定随机访问点

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通