编码与格式 / 系统课时
用 IDR 和 CRA 划定随机访问点
用 IDR 和 CRA 划定随机访问点
播放器拖动进度条或直播观众中途加入时,解码器必须找到一个不依赖缺失历史参考帧的位置。本篇通过 H.264 的 IDR、H.265 的 CRA 及参考关系示例,说明怎样确定安全切入点,为什么普通 I 图像不能直接当作随机访问点,以及开放 GOP 下需要丢弃哪些图像。
学习目标
- 区分普通 I 图像、IDR 图像和 CRA 图像的随机访问能力。
- 根据解码顺序、显示顺序和参考关系判断能否安全切入。
- 为点播拖动和分段播放选择合适的随机访问结构。
随机访问要求的不只是帧内编码
随机访问(Random Access)是指从码流中间某个访问单元开始,在不解码更早图像的前提下,正确解码该位置及规定的后续图像。
这里必须同时满足两个条件:切入图像本身能够独立解码;需要输出的后续图像不能依赖切入点之前尚未解码的参考图像。
I 图像主要表示其编码块使用帧内预测,不从其他图像进行帧间预测。但普通 I 图像不会自动清除解码图像缓冲区(DPB)中的旧参考图像,也不禁止后续 P、B 图像引用切入点之前的图像。
假设按解码顺序有如下结构:
| 图像 | 编码类型 | 参考关系 |
|---|---|---|
| A | P | 参考更早图像 |
| B | I(非 IDR) | 独立解码自身 |
| C | P | 参考 A |
| D | P | 参考 B、C |
如果从 B 开始解码,B 可以正常重建,但 C 所需的 A 不存在,因此 C 可能无法正确解码,D 也可能受到影响。仅检查 B 的帧内预测类型显然不够。

H.264 的 IDR 如何切断历史参考
IDR 是 Instantaneous Decoding Refresh,即瞬时解码刷新。在 H.264/AVC 中,IDR 图像使用 NAL 单元类型 5,而普通非 IDR 编码图像通常使用类型 1。
IDR 图像可以独立解码,并使之前的参考图像不再用于后续帧间预测。这样,后续按解码顺序到来的图像不需要引用 IDR 之前的图像,形成明确的参考边界。
一个简化的闭合 GOP 示例为:
| 解码顺序 | 图像 | 允许使用的历史参考 |
|---|---|---|
| 0 | P0 | 更早的参考图像 |
| 1 | IDR1 | 不需要历史参考 |
| 2 | P2 | IDR1 |
| 3 | B3 | IDR1、P2 |
| 4 | P4 | IDR1、P2、B3(若 B3 可作参考) |
从 IDR1 切入后,只要具有所需的参数集及完整编码数据,就能从这个新的参考边界开始解码。表中的具体参考选择仅用于举例,并非编码器必须采用的固定结构。
IDR 还会影响 DPB 中参考图像的管理和输出过程。在 H.264 中,IDR 图像的相关语法可以决定之前尚未输出的图像如何处理;因此,不能把刷新历史参考简单理解为无条件清空所有显示画面。
实际检查 H.264 码流时,需要区分以下信息:
- SPS、PPS:提供当前图像解码所需的序列和图像参数。
- NAL 类型 5:表示 IDR 编码片所属图像。
- NAL 类型 1:表示非 IDR 编码片,片类型可以是 I、P、B 等。
- 访问单元边界:应确认拿到了整幅图像的数据,而不只是某一个编码片。
例如,切在 IDR 的编码片中间,即使遇到类型 5,也不能视为获得了完整的独立解码入口。
H.265 的 CRA 为什么允许开放 GOP
H.265/HEVC 引入 IRAP(Intra Random Access Point)图像类别,其中包含 IDR、CRA 和 BLA 等类型。CRA 是 Clean Random Access,NAL 单元类型为 21;HEVC 的 IDR 则使用类型 19 或 20。
CRA 自身可以独立解码,并保证按规定从该点随机访问时,CRA 之后需要输出的非 RASL 图像能够正确解码。但它允许某些在解码顺序上位于 CRA 之后、显示顺序上位于 CRA 之前的图像引用更早的参考图像。
这些特殊图像称为 Leading Pictures,需要区分两类:
| 类型 | HEVC NAL 类型 | 从关联 IRAP 切入时的行为 |
|---|---|---|
| RADL | 6、7 | 可以正确解码 |
| RASL | 8、9 | 可能缺少历史参考,随机访问时通常跳过 |
假设图像按显示时间排列为 P0、B1、B2、CRA3、P4,而编码器允许 B1、B2 使用 CRA3 进行双向预测,实际解码顺序便可能是 P0、CRA3、B1、B2、P4。
其中 B1、B2 若还引用 P0,就属于需要历史图像的 RASL 情况。从 CRA3 新进入码流时,P0 不存在,应跳过这些 RASL 图像,继续解码 P4 等可正确解码的后续图像。

CRA 的价值在于允许编码器使用更灵活的开放 GOP 结构,减少为强制闭合参考关系而产生的编码限制。但如果业务要求从切入点开始立即输出所有相关图像,就必须考虑 RASL 的丢弃及时间戳处理。
怎样为拖动和分段播放划定切入点
设计点播随机访问结构时,先确定可接受的定位粒度,再决定刷新点间隔和 GOP 组织方式。
例如视频为 30 fps,要求播放器最多每 2 秒有一个可供快速定位的随机访问点,可以按 60 帧左右安排一次 IDR 或合适的 CRA。假设目标时刻为 13.4 秒,前一个随机访问点在 12 秒,播放器通常需要从 12 秒开始解码,再根据显示时间戳选择从目标附近输出画面。
具体选择可按以下规则执行:
- H.264 需要可靠的独立切入时,优先使用 IDR,并保证切入处具备必要的 SPS、PPS。
- H.265 希望使用开放 GOP 改善编码效率时,可以使用 CRA,但必须按随机访问规则处理关联的 RASL 图像。
- 制作需要独立解码的媒体分段时,检查分段首个可用访问单元及后续参考关系,不要仅根据每段第一幅图像是不是 I 图像判断。
- 校验时间戳时,分别处理解码顺序与显示顺序;存在 B 图像时,两者可能不同。
对 HEVC,还应确保可用的 VPS、SPS、PPS;对于容器格式中的参数集外置方案,应在创建解码器时正确提供,而不是假设所有参数集都会在随机访问点前重复出现。
验收时可以选取三个位置:文件起始、GOP 中间、紧邻分段边界。分别清空解码状态,从最近的候选随机访问点重新解码,检查首幅输出图像、后续图像的正确性,以及显示时间戳是否连续合理。
如果在普通 I 图像处切入后出现花屏,而从 IDR 切入正常,首先检查后续 P、B 图像是否存在跨切入点参考。若从 CRA 切入时只有少量前导图像不能正确重建,则重点检查它们是否属于需要跳过的 RASL,而不要直接判定整个 GOP 损坏。
对于需要简单可靠切入的场景,IDR 通常更容易管理;允许开放 GOP 的场景可以利用 CRA,但播放、封装与分段逻辑必须共同遵守参考图像和前导图像规则。