编码与格式 / 系统课时

通过双向预测合成运动块

通过双向预测合成运动块

当视频中的物体发生移动时,仅使用一张参考图像预测当前块,可能留下较大的预测误差。双向预测允许从不同时间位置的参考图像中寻找匹配块,再通过加权组合生成预测结果。本篇通过一个可计算的像素实例,解释双向预测何时有效、如何选择参考图像,以及它与 B 帧之间的区别。

学习目标

  • 理解双向预测中两个参考块的获取、组合和残差计算过程。
  • 使用具体像素数值比较单向预测与双向预测的误差。
  • 区分双向预测、参考图像列表与 B 帧类型,识别不适合双向预测的场景。

双向预测解决什么问题

帧间预测利用已经重建的参考图像,估计当前块的像素。单向预测通常使用一个参考块,而双向预测使用两个预测来源,按权重生成一个新的预测块。

假设当前正在编码时刻 tt 的画面,编码器已经具备两张可用的重建参考图像:一张来自较早的 t−1t-1,另一张来自较晚的 t+1t+1。这里的较晚是显示时间较晚,不代表编码器能够引用尚未解码的图像。编码和解码顺序必须保证参考图像已经可用。

双向预测的基本过程如下:

  1. 从参考列表 L0 中选择一张参考图像,通过运动矢量 MV0 获取预测块 P0。
  2. 从参考列表 L1 中选择另一预测来源,通过运动矢量 MV1 获取预测块 P1。
  3. 对 P0 和 P1 进行加权组合,得到最终预测块 P。
  4. 计算当前原始块 X 与 P 的残差,后续再进行变换、量化和熵编码。

双向运动补偿预测结构图

需要特别注意,L0 和 L1 是参考图像列表的名称,不是严格的时间方向标记。在 H.264/AVC 和 H.265/HEVC 的 B slice 中,两份列表都可以根据参考图像配置包含不同时间位置的图像。因此,双向预测并不要求参考图像必须分别处于当前画面的过去和未来。

使用两个预测块计算残差

先使用一个简化实例理解加权组合。假设当前原始亮度块是一个 2×22\times2 矩阵,像素值范围为 0~255。运动估计已经找到两个候选参考块,暂时不考虑运动矢量搜索和分数像素插值。

当前块 X:

位置 左列 右列
第一行 100 120
第二行 140 160

来自 L0 的预测块 P0 为第一行 90、110,第二行 130、150;来自 L1 的预测块 P1 为第一行 106、126,第二行 146、166。

对于等权双向预测,可以用下面的近似数学模型表示:

P=round⁡(P0+P12)P=\operatorname{round}\left(\frac{P0+P1}{2}\right)

这里的运算对每个像素分别执行,实际编码标准会规定整数精度、舍入与裁剪方式。本例所有平均值均为整数,不涉及舍入差异。

由此得到双向预测块 P:第一行 98、118,第二行 138、158。

残差定义为原始像素减去预测像素:

R=X−PR=X-P

三种预测方法的残差比较如下:

像素位置 仅用 P0 仅用 P1 双向等权
左上 10 -6 2
右上 10 -6 2
左下 10 -6 2
右下 10 -6 2
绝对残差和 SAD 40 24 8

SAD 是各像素残差绝对值之和。本例中双向预测将 SAD 从较好的单向结果 24 降至 8,说明两个预测块的误差部分抵消,更接近当前图像。

不过,SAD 更小不代表最终码流必然更短。双向模式可能增加参考索引、运动矢量差值及预测模式等信令开销。真实编码器通常要比较包含失真和码率代价的率失真成本,而不是仅根据 SAD 选择模式。

加权预测不一定各占一半

等权平均只是双向预测的一种形式。有些视频编码工具允许给两个预测来源设置不同权重,以适应亮度变化或预测质量差异。

为了理解权重作用,可以先使用简化模型:

P=round⁡(w0P0+w1P1)P=\operatorname{round}(w_0P0+w_1P1)

其中 w0+w1=1w_0+w_1=1。实际标准中的加权预测还可能包含整数权重、偏移量、移位和裁剪操作,不能直接把这个浮点公式当作 H.264 或 HEVC 的规范解码公式。

仍使用前面的左上角像素:当前值为 100,P0 为 90,P1 为 106。比较三种权重:

P0 权重 P1 权重 合成像素 绝对残差
0.5 0.5 98 2
0.25 0.75 102 2
0.375 0.625 100 0

从示例可以看到,合理的权重能够进一步接近原始像素,但最佳权重依赖具体图像,不存在普遍有效的固定比例。

在工程实现中,应区分两个概念:普通双向预测通常按照标准规定的默认组合规则处理;显式或隐式加权预测则取决于具体编码标准、配置和可用工具。例如,H.264/AVC 允许在相应条件下对 B slice 使用显式或隐式加权双向预测,HEVC 的加权预测机制与适用条件又有所不同。

参考图像和运动矢量怎样选择

双向预测通常涉及两个参考索引和两组运动矢量。两组运动矢量不必大小相同,也不必方向相反,因为遮挡、形变和非匀速运动都会影响匹配位置。

例如,某个物体在当前画面中位于水平位置 40,在两张参考画面中分别位于 34 和 49。假设三张画面的空间坐标系统一致,且运动矢量表示从当前块位置指向参考块位置,则两组水平运动矢量分别为 -6 和 +9 像素,而不是机械地设置为 -6 和 +6。

实际编码器选择参考组合时,可以使用以下顺序作为教学版决策方法:

  1. 枚举当前块允许使用的单向与双向候选模式,确定合法的参考列表及参考索引。
  2. 对候选参考图像进行运动搜索,在支持分数像素精度的编码工具中进一步插值并优化运动矢量。
  3. 根据模式生成预测块,计算残差和对应的编码代价。
  4. 比较单向 L0、单向 L1、双向以及其他适用的预测模式,选择率失真代价较低的候选。

常见率失真代价可以写为:

J=D+λRJ=D+\lambda R

其中 D 表示重建失真,R 表示估计或实际编码比特数,λ\lambda 是码率与失真的权衡参数。例如,候选 A 的失真为 80、码率代价为 20 bit,候选 B 的失真为 60、码率代价为 40 bit;当 λ=2\lambda=2 时,A 的代价为 120,B 为 140,应选择 A。这里的数值只是演示计算,实际失真指标及拉格朗日乘子由编码器决策流程确定。

双向预测不等于 B 帧

B 帧或 B slice 是编码结构或切片类型层面的概念,而双向预测是具体块所使用的帧间预测方式,二者不能直接画等号。

以 H.264/AVC 为例,B slice 中的宏块或子宏块可以选择 L0 单向预测、L1 单向预测或双向预测,还存在直接预测等模式。并不是 B slice 中的每个块都一定读取两个参考块。

容易混淆的说法 更准确的理解
B 帧所有块都采用双向预测 B 类型允许双向模式,也允许单向等其他合法模式
双向预测必须引用前后两帧 两个预测来源由参考列表和索引决定,不固定为前后相邻帧
两个方向的运动矢量必须相反 两组运动矢量可以独立确定
双向预测残差一定更小 遮挡、场景切换或参考不匹配时可能没有优势

还有一个重要边界:B 类型图像是否能够作为其他图像的参考,取决于编码标准和参考图像管理方式。不能把 B 帧一律理解为不可参考的临时图像。

遮挡和场景变化时如何取舍

考虑一个物体从画面左侧移动到右侧,当前块包含刚刚露出的背景区域。较早参考图像中的这个区域可能被物体遮挡,而较晚参考图像可能完整显示背景。此时平均两个参考块,反而会把错误的物体像素混入背景预测,产生类似重影的误差。

双向预测在遮挡区域的有效与失效对比

在有遮挡、快速运动或场景切换的区域,可以采用以下判断方式:

  • 两路参考都与当前块接近时,尝试双向组合,并检查合成后的率失真代价。
  • 一路参考包含遮挡物或错误纹理时,保留单向预测候选,避免无条件平均。
  • 两路参考均严重失配时,检查其他参考图像、运动搜索结果,必要时考虑帧内预测。

可以用前面的像素例子进行一次反向验证:如果当前像素为 100,两路预测分别是 100 和 180,那么等权双向预测得到 140,绝对残差为 40;直接采用第一路单向预测,残差为 0。这个例子证明,双向模式提供的是额外的候选能力,而不是必然更优的结果。

实际理解双向预测时,应把参考图像选择、运动补偿、预测块组合、残差计算和码率开销放在同一个决策过程中。编码器可以尝试双向预测,但最终采用哪种模式,应由合法性与编码代价共同决定。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

通过双向预测合成运动块

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通