编码与格式 / 系统课时
帧内与帧间预测
帧内与帧间预测
视频编码器不会直接保存每个像素,而是先根据已知内容预测当前区域,再编码预测误差。本课将从单帧内部和相邻帧之间两条路径出发,理解预测来源、残差形成方式以及两种方案各自适合的画面。
学习目标
- 理解帧内预测如何利用当前帧中的相邻像素
- 理解帧间预测、运动搜索和运动补偿的基本过程
- 能根据画面变化判断两类预测的适用场景
预测为什么能减少数据
自然图像通常具有空间相关性,相邻像素的颜色和亮度不会毫无规律地剧烈变化;连续视频还具有时间相关性,相邻帧中的背景和物体往往只发生小范围移动。
编码器利用这些相关性生成预测块,然后计算原始块与预测块之间的差值。这个差值称为残差。预测越准确,残差中的有效信息越少,后续变换、量化和熵编码所需的比特通常也越少。

帧内预测:从当前帧寻找规律
帧内预测只使用当前图像中已经完成解码的邻近像素,不依赖其他帧。编码器通常把图像划分为多个块,并尝试不同方向的预测模式,例如垂直、水平、斜向或近似平均值。
具有明显边缘方向的区域适合方向预测。例如墙面与门框形成垂直边缘时,垂直或斜向模式可能得到较小残差;天空、墙面等平坦区域则可能使用较均匀的预测值。
解码端不需要获得原始邻近像素,而是使用已经重建的邻近块执行相同预测。因此,编码器只能引用解码端确定能够得到的数据,不能随意读取尚未解码的右侧或下方区域。
帧间预测:在参考帧中寻找相似块
帧间预测会在一个或多个参考帧中搜索与当前块相似的区域。若物体只是移动了位置,编码器无需再次描述完整纹理,只需记录参考帧编号、运动矢量、预测模式和残差等信息。
运动矢量表示预测块相对当前位置的位移。编码器寻找候选位置的过程称为运动估计,解码端按照运动矢量从参考帧取出预测内容的过程称为运动补偿。
运动矢量不一定是整数像素。现代编码标准可使用分数像素精度,通过插值生成更精确的预测块。这样通常能减小残差,但也会增加运动搜索和插值计算量。
两类预测如何选择
| 比较项 | 帧内预测 | 帧间预测 |
|---|---|---|
| 参考来源 | 当前帧已重建的邻近区域 | 已解码的参考帧 |
| 主要利用 | 空间相关性 | 时间相关性 |
| 常见优势 | 可独立恢复,错误不易跨帧扩散 | 静止或缓慢运动画面压缩率高 |
| 常见代价 | 重复纹理仍需在每帧描述 | 需要保存参考帧并执行运动搜索 |
| 适合场景 | 场景切换、关键帧、局部新内容 | 固定背景、平移物体、连续运动 |
编码器一般会同时尝试多种预测候选,并综合残差大小与描述预测参数所需的比特进行选择。残差最小的模式不一定最终获胜,因为复杂的运动矢量或模式编号也会占用码率。
关键边界与常见误解
帧间预测并不是简单地把上一帧减去当前帧。编码器会先完成块匹配和运动补偿,再计算残差;若直接对齐位置相减,移动物体的边缘会产生很大的差值。
帧内预测也不等于无损复制邻居。预测值只是估计结果,无法预测的纹理仍由残差表达。量化阶段还可能舍弃部分残差信息,因此重建图像与原图可能存在差异。
场景突然切换时,旧参考帧与当前画面缺少相关性,帧间预测通常失效。编码器会更多采用帧内模式,并可能在该位置安排新的随机访问帧,避免继续引用无关画面。