编码与格式 / 系统课时

读懂 I 帧、P 帧和 B 帧依赖

读懂 I 帧、P 帧和 B 帧依赖

同样是一段 30 FPS 的视频,为什么有些帧可以独立解码,有些帧却必须等待其他帧?答案藏在 I、P、B 三类编码图像的预测依赖里。理解它们的参考关系,就能解释视频压缩率、播放延迟、随机跳转和丢包恢复之间的取舍。

学习目标

  • 区分 I、P、B 三类编码图像的压缩方式与参考依赖。
  • 读懂显示顺序和解码顺序的差异,理解双向预测带来的重排序。
  • 使用 FFmpeg 检查实际视频帧类型,并判断 GOP 配置的影响。

三类编码图像分别保存什么

视频压缩首先利用空间冗余:一张画面中相邻像素通常具有相似性。进一步利用时间冗余:相邻画面中大量背景和物体没有明显变化,可以引用其他画面进行预测,而不必重新编码全部信息。

I、P、B 是编码图像的常见类型,不代表每一张图像都采用完全相同的内部编码方式。

类型 主要编码方式 参考依赖 典型特点
I 图像 帧内预测和变换编码 不依赖其他图像 可以独立重建,通常占用较多码率
P 图像 帧内编码或利用参考图像进行帧间预测 通常使用此前已解码的参考图像 对连续运动和静态背景压缩有效
B 图像 帧内编码或利用一个或多个参考图像预测 可使用显示时间上前后方向的参考图像 预测选择更灵活,但可能增加重排序需求

假设一段固定机位视频中,人物在白墙前缓慢向右移动。I 图像需要编码完整的当前画面信息;P 图像可以引用已有画面,通过运动矢量和残差表示人物位置变化;B 图像还可以利用来自两个时间方向的参考,改善预测结果。

运动矢量描述预测块在参考图像中的位移,残差描述当前图像与预测结果的差异。编码器仍需保存预测模式、参考索引等信息,并不是只保存运动矢量。

参考关系为什么影响解码顺序

考虑显示顺序为 I0、B1、B2、P3 的四张图像。假设编码器安排 B1 和 B2 同时参考 I0 与 P3,那么在解码 B1、B2 之前,解码器必须先得到 P3。

I帧P帧B帧参考依赖与显示解码顺序对比

这个示例中,显示顺序与解码顺序分别是:

  1. 显示顺序:I0、B1、B2、P3。
  2. 解码顺序:I0、P3、B1、B2。
  3. 解码器先重建 I0,再重建 P3,随后才能完成依赖两者的 B1 和 B2。
  4. 播放器按照时间戳输出 I0、B1、B2、P3,而不是按解码完成顺序直接展示。

在容器和解码接口中,DTS 表示解码时间戳,PTS 表示呈现时间戳。存在重排序时,两者可能不同;不需要重排序时通常可以相同。不要简单地把所有 B 图像理解为必须同时等待两张参考图像:具体参考数量和方向由编码器配置及码流决定。

还要注意,以上示意采用非参考 B 图像来简化说明。H.264 等编码标准允许某些 B 图像继续被其他图像参考,实际依赖结构可以比示例复杂。

GOP 如何改变压缩效率和随机访问

GOP(Group of Pictures)用于描述编码图像的组织结构。工程中常用关键帧间隔来控制视频出现随机访问点的频率,但 GOP 结构、I 图像间隔与 IDR 间隔不能在所有编码格式和配置下完全画等号。

以 30 FPS 视频为例,假设每隔 60 帧插入一个 IDR,约每 2 秒出现一次新的随机访问点。对比两组假设条件:

配置 IDR 间隔 B 图像数量 主要影响
方案 A 30 帧,约 1 秒 0 随机访问点更密集,不需要由 B 图像引起的重排序
方案 B 60 帧,约 2 秒 每组相邻参考图像之间最多 2 张 通常有更好的压缩机会,但解码依赖与重排序更复杂

例如,将方案 A 用于强调响应速度的实时互动场景,将方案 B 用于对编码效率更敏感的普通视频播放场景,是合理的初始试验方向。最终仍要以目标码率下的 VMAF、PSNR、实际端到端延迟等测量结果决定。

IDR 间隔由 30 帧增加到 60 帧,并不能直接推导码率一定降低多少。压缩结果还受画面运动、场景切换、码率控制、参考帧数量和编码器预设影响。

用 FFmpeg 实际查看帧类型

下面使用 FFmpeg 6.x 或 7.x 的常见命令行接口进行验证,要求本机已安装 ffmpeg 和 ffprobe,且 FFmpeg 构建包含 libx264 编码器。先生成一段 3 秒、30 FPS、包含两个 B 图像配置的 H.264 测试视频。scenecut=0 关闭自适应场景切换产生的额外关键帧,方便观察固定间隔。

bash
ffmpeg -f lavfi -i "testsrc2=size=640x360:rate=30:duration=3" -an -c:v libx264 -preset medium -crf 23 -g 30 -keyint_min 30 -bf 2 -x264-params "scenecut=0:b-adapt=0:open-gop=0" -pix_fmt yuv420p -y ipb-demo.mp4

预期结果:命令正常结束后生成 ipb-demo.mp4,视频时长约 3 秒,视频流编码格式为 H.264。终端中的编码速度、文件大小及逐帧统计随设备和编码器版本变化,不应要求完全一致。

接着读取视频流的帧类型、关键帧标记与呈现时间戳:

bash
ffprobe -v error -select_streams v:0 -show_frames -show_entries frame=pts_time,pict_type,key_frame -of csv=p=0 ipb-demo.mp4

预期输出(节选,时间戳按 30 FPS 近似表示;具体首帧时间及展示格式可能因版本不同而变化):

text
1,0.000000,I
0,0.033333,B
0,0.066667,B
0,0.100000,P

如果输出字段顺序与示例不同,可使用 -of json 查看字段名。示例重点是识别 I、P、B 及 key_frame,而不是要求每个输出字节完全相同。-show_frames 主要展示解码后帧信息,不应直接将其输出行顺序理解为压缩码流的解码顺序。

命令中的关键参数含义如下:

  • -g 30:设置最大 GOP 长度为 30 帧。
  • -keyint_min 30:设置最小关键帧间隔为 30 帧。
  • -bf 2:允许最多两个连续 B 图像。
  • -crf 23:采用恒定质量因子模式,数值越小通常质量越高、文件越大。
  • -preset medium:使用 x264 的中等速度预设;预设影响编码时间和压缩效率。

想做对照实验,可保持输入和其他参数不变,把 -bf 2 改成 -bf 0 并输出至另一文件,然后分别统计 B 图像数量、文件大小和实际视频质量。CRF 相同不保证两个文件的客观质量严格相等;若要公平比较压缩效率,应进一步在相近质量下比较码率。

丢帧与延迟问题怎样判断

一张 P 图像如果引用的参考图像不可用,依赖它的后续图像也可能解码失败或者出现错误传播。B 图像如果丢失,在不作为其他图像参考的情况下,通常影响范围较小;但作为参考的 B 图像丢失时,同样可能影响其他图像。

处理播放异常时,可以按现象检查:

  1. 视频跳转后长时间黑屏:先检查可随机访问的 IDR 或其他合法随机访问点间隔,再检查播放器是否从正确位置取得必要参数集和参考数据。
  2. 互动直播延迟偏高:确认编码器是否启用了 B 图像重排序,记录编码器、传输、解码器和播放器各阶段缓冲时间。
  3. 网络丢包后画面持续花屏:检查是否有参考图像缺失及错误传播,结合协议的重传、纠错、关键帧请求机制排查。
  4. 文件体积过大:在相同内容、目标质量和解码设备约束下,比较参考结构、GOP 间隔及编码预设,而不是只比较 I、P、B 的数量。

对于普通点播,允许适量 B 图像通常可以争取更高的压缩效率;对于低延迟双向通信,可以从禁用 B 图像的配置开始测量,再决定是否引入更复杂的预测结构。判断依据始终是实际码流依赖、播放端能力和测得的延迟与质量,而不是单凭帧类型名称。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

读懂 I 帧、P 帧和 B 帧依赖

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通