编码与格式 / 系统课时

帧内与帧间预测

帧内与帧间预测

视频编码器不会直接保存每个像素,而是先根据已知内容预测当前区域,再编码预测误差。本课将从单帧内部和相邻帧之间两条路径出发,理解预测来源、残差形成方式以及两种方案各自适合的画面。

学习目标

  • 理解帧内预测如何利用当前帧中的相邻像素
  • 理解帧间预测、运动搜索和运动补偿的基本过程
  • 能根据画面变化判断两类预测的适用场景

预测为什么能减少数据

自然图像通常具有空间相关性,相邻像素的颜色和亮度不会毫无规律地剧烈变化;连续视频还具有时间相关性,相邻帧中的背景和物体往往只发生小范围移动。

编码器利用这些相关性生成预测块,然后计算原始块与预测块之间的差值。这个差值称为残差。预测越准确,残差中的有效信息越少,后续变换、量化和熵编码所需的比特通常也越少。

帧内预测与帧间预测的来源对比

帧内预测:从当前帧寻找规律

帧内预测只使用当前图像中已经完成解码的邻近像素,不依赖其他帧。编码器通常把图像划分为多个块,并尝试不同方向的预测模式,例如垂直、水平、斜向或近似平均值。

具有明显边缘方向的区域适合方向预测。例如墙面与门框形成垂直边缘时,垂直或斜向模式可能得到较小残差;天空、墙面等平坦区域则可能使用较均匀的预测值。

解码端不需要获得原始邻近像素,而是使用已经重建的邻近块执行相同预测。因此,编码器只能引用解码端确定能够得到的数据,不能随意读取尚未解码的右侧或下方区域。

帧间预测:在参考帧中寻找相似块

帧间预测会在一个或多个参考帧中搜索与当前块相似的区域。若物体只是移动了位置,编码器无需再次描述完整纹理,只需记录参考帧编号、运动矢量、预测模式和残差等信息。

运动矢量表示预测块相对当前位置的位移。编码器寻找候选位置的过程称为运动估计,解码端按照运动矢量从参考帧取出预测内容的过程称为运动补偿。

运动矢量不一定是整数像素。现代编码标准可使用分数像素精度,通过插值生成更精确的预测块。这样通常能减小残差,但也会增加运动搜索和插值计算量。

两类预测如何选择

比较项 帧内预测 帧间预测
参考来源 当前帧已重建的邻近区域 已解码的参考帧
主要利用 空间相关性 时间相关性
常见优势 可独立恢复,错误不易跨帧扩散 静止或缓慢运动画面压缩率高
常见代价 重复纹理仍需在每帧描述 需要保存参考帧并执行运动搜索
适合场景 场景切换、关键帧、局部新内容 固定背景、平移物体、连续运动

编码器一般会同时尝试多种预测候选,并综合残差大小与描述预测参数所需的比特进行选择。残差最小的模式不一定最终获胜,因为复杂的运动矢量或模式编号也会占用码率。

关键边界与常见误解

帧间预测并不是简单地把上一帧减去当前帧。编码器会先完成块匹配和运动补偿,再计算残差;若直接对齐位置相减,移动物体的边缘会产生很大的差值。

帧内预测也不等于无损复制邻居。预测值只是估计结果,无法预测的纹理仍由残差表达。量化阶段还可能舍弃部分残差信息,因此重建图像与原图可能存在差异。

场景突然切换时,旧参考帧与当前画面缺少相关性,帧间预测通常失效。编码器会更多采用帧内模式,并可能在该位置安排新的随机访问帧,避免继续引用无关画面。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

帧内与帧间预测

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通