编码与格式 / 系统课时
通过双向预测合成运动块
通过双向预测合成运动块
当视频中的物体发生移动时,仅使用一张参考图像预测当前块,可能留下较大的预测误差。双向预测允许从不同时间位置的参考图像中寻找匹配块,再通过加权组合生成预测结果。本篇通过一个可计算的像素实例,解释双向预测何时有效、如何选择参考图像,以及它与 B 帧之间的区别。
学习目标
- 理解双向预测中两个参考块的获取、组合和残差计算过程。
- 使用具体像素数值比较单向预测与双向预测的误差。
- 区分双向预测、参考图像列表与 B 帧类型,识别不适合双向预测的场景。
双向预测解决什么问题
帧间预测利用已经重建的参考图像,估计当前块的像素。单向预测通常使用一个参考块,而双向预测使用两个预测来源,按权重生成一个新的预测块。
假设当前正在编码时刻 的画面,编码器已经具备两张可用的重建参考图像:一张来自较早的 ,另一张来自较晚的 。这里的较晚是显示时间较晚,不代表编码器能够引用尚未解码的图像。编码和解码顺序必须保证参考图像已经可用。
双向预测的基本过程如下:
- 从参考列表 L0 中选择一张参考图像,通过运动矢量 MV0 获取预测块 P0。
- 从参考列表 L1 中选择另一预测来源,通过运动矢量 MV1 获取预测块 P1。
- 对 P0 和 P1 进行加权组合,得到最终预测块 P。
- 计算当前原始块 X 与 P 的残差,后续再进行变换、量化和熵编码。

需要特别注意,L0 和 L1 是参考图像列表的名称,不是严格的时间方向标记。在 H.264/AVC 和 H.265/HEVC 的 B slice 中,两份列表都可以根据参考图像配置包含不同时间位置的图像。因此,双向预测并不要求参考图像必须分别处于当前画面的过去和未来。
使用两个预测块计算残差
先使用一个简化实例理解加权组合。假设当前原始亮度块是一个 矩阵,像素值范围为 0~255。运动估计已经找到两个候选参考块,暂时不考虑运动矢量搜索和分数像素插值。
当前块 X:
| 位置 | 左列 | 右列 |
|---|---|---|
| 第一行 | 100 | 120 |
| 第二行 | 140 | 160 |
来自 L0 的预测块 P0 为第一行 90、110,第二行 130、150;来自 L1 的预测块 P1 为第一行 106、126,第二行 146、166。
对于等权双向预测,可以用下面的近似数学模型表示:
这里的运算对每个像素分别执行,实际编码标准会规定整数精度、舍入与裁剪方式。本例所有平均值均为整数,不涉及舍入差异。
由此得到双向预测块 P:第一行 98、118,第二行 138、158。
残差定义为原始像素减去预测像素:
三种预测方法的残差比较如下:
| 像素位置 | 仅用 P0 | 仅用 P1 | 双向等权 |
|---|---|---|---|
| 左上 | 10 | -6 | 2 |
| 右上 | 10 | -6 | 2 |
| 左下 | 10 | -6 | 2 |
| 右下 | 10 | -6 | 2 |
| 绝对残差和 SAD | 40 | 24 | 8 |
SAD 是各像素残差绝对值之和。本例中双向预测将 SAD 从较好的单向结果 24 降至 8,说明两个预测块的误差部分抵消,更接近当前图像。
不过,SAD 更小不代表最终码流必然更短。双向模式可能增加参考索引、运动矢量差值及预测模式等信令开销。真实编码器通常要比较包含失真和码率代价的率失真成本,而不是仅根据 SAD 选择模式。
加权预测不一定各占一半
等权平均只是双向预测的一种形式。有些视频编码工具允许给两个预测来源设置不同权重,以适应亮度变化或预测质量差异。
为了理解权重作用,可以先使用简化模型:
其中 。实际标准中的加权预测还可能包含整数权重、偏移量、移位和裁剪操作,不能直接把这个浮点公式当作 H.264 或 HEVC 的规范解码公式。
仍使用前面的左上角像素:当前值为 100,P0 为 90,P1 为 106。比较三种权重:
| P0 权重 | P1 权重 | 合成像素 | 绝对残差 |
|---|---|---|---|
| 0.5 | 0.5 | 98 | 2 |
| 0.25 | 0.75 | 102 | 2 |
| 0.375 | 0.625 | 100 | 0 |
从示例可以看到,合理的权重能够进一步接近原始像素,但最佳权重依赖具体图像,不存在普遍有效的固定比例。
在工程实现中,应区分两个概念:普通双向预测通常按照标准规定的默认组合规则处理;显式或隐式加权预测则取决于具体编码标准、配置和可用工具。例如,H.264/AVC 允许在相应条件下对 B slice 使用显式或隐式加权双向预测,HEVC 的加权预测机制与适用条件又有所不同。
参考图像和运动矢量怎样选择
双向预测通常涉及两个参考索引和两组运动矢量。两组运动矢量不必大小相同,也不必方向相反,因为遮挡、形变和非匀速运动都会影响匹配位置。
例如,某个物体在当前画面中位于水平位置 40,在两张参考画面中分别位于 34 和 49。假设三张画面的空间坐标系统一致,且运动矢量表示从当前块位置指向参考块位置,则两组水平运动矢量分别为 -6 和 +9 像素,而不是机械地设置为 -6 和 +6。
实际编码器选择参考组合时,可以使用以下顺序作为教学版决策方法:
- 枚举当前块允许使用的单向与双向候选模式,确定合法的参考列表及参考索引。
- 对候选参考图像进行运动搜索,在支持分数像素精度的编码工具中进一步插值并优化运动矢量。
- 根据模式生成预测块,计算残差和对应的编码代价。
- 比较单向 L0、单向 L1、双向以及其他适用的预测模式,选择率失真代价较低的候选。
常见率失真代价可以写为:
其中 D 表示重建失真,R 表示估计或实际编码比特数, 是码率与失真的权衡参数。例如,候选 A 的失真为 80、码率代价为 20 bit,候选 B 的失真为 60、码率代价为 40 bit;当 时,A 的代价为 120,B 为 140,应选择 A。这里的数值只是演示计算,实际失真指标及拉格朗日乘子由编码器决策流程确定。
双向预测不等于 B 帧
B 帧或 B slice 是编码结构或切片类型层面的概念,而双向预测是具体块所使用的帧间预测方式,二者不能直接画等号。
以 H.264/AVC 为例,B slice 中的宏块或子宏块可以选择 L0 单向预测、L1 单向预测或双向预测,还存在直接预测等模式。并不是 B slice 中的每个块都一定读取两个参考块。
| 容易混淆的说法 | 更准确的理解 |
|---|---|
| B 帧所有块都采用双向预测 | B 类型允许双向模式,也允许单向等其他合法模式 |
| 双向预测必须引用前后两帧 | 两个预测来源由参考列表和索引决定,不固定为前后相邻帧 |
| 两个方向的运动矢量必须相反 | 两组运动矢量可以独立确定 |
| 双向预测残差一定更小 | 遮挡、场景切换或参考不匹配时可能没有优势 |
还有一个重要边界:B 类型图像是否能够作为其他图像的参考,取决于编码标准和参考图像管理方式。不能把 B 帧一律理解为不可参考的临时图像。
遮挡和场景变化时如何取舍
考虑一个物体从画面左侧移动到右侧,当前块包含刚刚露出的背景区域。较早参考图像中的这个区域可能被物体遮挡,而较晚参考图像可能完整显示背景。此时平均两个参考块,反而会把错误的物体像素混入背景预测,产生类似重影的误差。

在有遮挡、快速运动或场景切换的区域,可以采用以下判断方式:
- 两路参考都与当前块接近时,尝试双向组合,并检查合成后的率失真代价。
- 一路参考包含遮挡物或错误纹理时,保留单向预测候选,避免无条件平均。
- 两路参考均严重失配时,检查其他参考图像、运动搜索结果,必要时考虑帧内预测。
可以用前面的像素例子进行一次反向验证:如果当前像素为 100,两路预测分别是 100 和 180,那么等权双向预测得到 140,绝对残差为 40;直接采用第一路单向预测,残差为 0。这个例子证明,双向模式提供的是额外的候选能力,而不是必然更优的结果。
实际理解双向预测时,应把参考图像选择、运动补偿、预测块组合、残差计算和码率开销放在同一个决策过程中。编码器可以尝试双向预测,但最终采用哪种模式,应由合法性与编码代价共同决定。