编码与格式 / 系统课时
通过参考帧生成运动补偿块
通过参考帧生成运动补偿块
视频中的物体发生移动时,编码器不必重新发送整个图像块,而是可以从已重建的参考帧中寻找对应区域,再通过运动矢量生成预测块。本篇通过一个具体的坐标算例,完成运动补偿块的定位、像素预测和运动矢量差分计算,并理解这些信息如何进入码流。
学习目标
- 理解参考帧、运动矢量与运动补偿预测块之间的关系。
- 根据块坐标和运动矢量,计算预测区域的位置并提取像素。
- 掌握运动矢量预测与差分编码的基本方法,理解它们如何节省码率。
从参考帧中定位预测区域
运动补偿(Motion Compensation)是帧间预测的关键步骤。编码器利用已经重建的参考图像和运动信息,为当前待编码块生成预测像素,再对当前块与预测块之间的差异进行编码。
参考帧必须是编码器与解码器都能够得到的已重建图像,而不是未经编码失真的原始历史帧。否则两端预测结果不同,会引起解码漂移。
假设当前图像尺寸为 1920×1080,当前待编码块左上角坐标为 (320, 160),尺寸为 16×16。编码器通过运动搜索得到运动矢量 MV=(-4, 2),这里采用整数像素、当前块坐标加运动矢量得到参考位置的约定。
参考区域的左上角为:
因此,应从参考帧提取横坐标 316~331、纵坐标 162~177 的 16×16 像素区域。

生成整数像素运动补偿块
在整数像素运动补偿中,预测块的每个像素直接来自参考帧对应位置。设当前块左上角为 (x,y),运动矢量为 (mvx,mvy),块内偏移为 (i,j),则预测像素满足:
其中,R 表示参考帧像素,P 表示生成的预测块。对于整数像素运动矢量,不需要执行亚像素插值。
下面使用 Python 和 NumPy 实现一个独立的整数像素运动补偿示例。环境需要 Python 3.10 或更新版本,以及 NumPy,可使用 python -m pip install numpy 安装。
import numpy as np
def compensate(reference, x, y, width, height, mvx, mvy):
# 运动矢量采用整数像素单位,坐标指向参考帧采样位置
ref_x, ref_y = x + mvx, y + mvy
frame_h, frame_w = reference.shape
# 本示例只处理完整落在参考帧内部的预测区域
if not (0 <= ref_x <= frame_w - width and
0 <= ref_y <= frame_h - height):
raise ValueError("参考区域超出图像边界")
return reference[ref_y:ref_y + height,
ref_x:ref_x + width].copy()
reference = np.arange(64, dtype=np.uint8).reshape(8, 8)
block = compensate(reference, x=3, y=2,
width=2, height=2, mvx=-1, mvy=1)
print(block)预期输出:
[[26 27]
[34 35]]当前块位置为 (3,2),运动矢量为 (-1,1),因此预测块从参考帧的 (2,3) 开始提取。参考帧每行有 8 个像素,坐标 (2,3) 对应数值 26,计算结果与程序输出一致。
此示例是整数像素运动补偿的教学实现,并非完整的视频编码器。实际 H.264/AVC 和 H.265/HEVC 等标准支持分数像素精度,亮度和色度可能采用不同插值滤波过程,还需要处理参考帧边界和不同预测分区。
为什么运动补偿后还要编码残差
预测块通常无法与当前块完全一致,因为物体可能发生形变、亮度变化、遮挡或细节变化。编码器因此还需要计算残差:
其中,C 是当前原始块,P 是运动补偿预测块,E 是预测残差。
例如某个 2×2 当前块与预测块分别为:
| 像素位置 | 当前值 C | 预测值 P | 残差 E |
|---|---|---|---|
| 左上 | 105 | 103 | 2 |
| 右上 | 110 | 108 | 2 |
| 左下 | 107 | 106 | 1 |
| 右下 | 111 | 110 | 1 |
预测后的残差只有 1 或 2,数值明显小于像素原值。真实编码器通常对残差执行变换、量化和熵编码,而不是直接逐像素写入残差整数。

通过运动矢量预测减少码流开销
相邻图像块往往具有相似运动方向。如果每个块都完整编码运动矢量,就会重复传输大量相近数值。运动矢量预测(Motion Vector Prediction)利用已经可用的邻近运动信息构造预测矢量,再只编码差值。
设实际运动矢量为 MV,预测矢量为 MVP,则运动矢量差值为:
假设一个块的实际运动矢量为 (12,-4),预测矢量为 (11,-3),则:
解码器只要采用与编码器一致的规则恢复 MVP,就可以根据收到的 MVD 重建运动矢量:
下面用一个简化的邻块中值预测示例说明计算过程。三个候选运动矢量分别为 (10,-3)、(11,-4)、(12,-3),对两个分量分别取中值,可得到 (11,-3)。
from statistics import median
# 教学用的三候选中值预测,不代表所有编码模式的规范规则
neighbors = [(10, -3), (11, -4), (12, -3)]
actual_mv = (12, -4)
predicted_mv = tuple(
int(median(mv[axis] for mv in neighbors))
for axis in range(2)
)
mvd = tuple(a - p for a, p in zip(actual_mv, predicted_mv))
restored_mv = tuple(p + d for p, d in zip(predicted_mv, mvd))
print("MVP:", predicted_mv)
print("MVD:", mvd)
print("Restored MV:", restored_mv)预期输出:
MVP: (11, -3)
MVD: (1, -1)
Restored MV: (12, -4)这个示例体现了差分编码的基本优势:实际矢量的分量幅度较大,而差值只需表示 (1,-1)。小幅度差值在常见的熵编码方案中通常更容易获得较短的表示,但实际比特数还与编码上下文和语法规则有关。
不同编码标准和模式的运动矢量预测规则并不相同。H.264/AVC 的部分帧间模式采用基于邻块的中值等预测规则;H.265/HEVC 使用高级运动矢量预测(AMVP)和 Merge 等机制。Merge 模式可以复用候选运动信息,不一定显式发送运动矢量差值。因此不能将上述三候选中值算法直接当成所有标准的通用实现。
运动信息如何被解码器还原
解码器必须能够独立重现与编码器一致的预测块。以显式传输运动矢量差值的单向帧间预测模式为例,恢复过程如下:
- 从码流解析预测模式、参考帧索引及需要的运动信息。
- 根据当前块周围已解码的候选运动信息,按照标准规定的规则构造运动矢量预测值。
- 将运动矢量差值与预测值相加,恢复实际运动矢量。
- 按照参考帧索引选择已重建的参考图像,用运动矢量定位取样区域,并按要求执行亚像素插值。
- 对量化残差系数进行反量化、反变换,将重建残差与运动补偿预测块相加,得到重建图像块。

需要特别区分三个对象:运动矢量决定预测块从哪里取样,运动矢量差值是用于传输运动信息的编码表示,残差则描述当前图像与预测图像之间的像素差异。三者不能互相替代。
对于带分数精度的运动矢量,还应注意运动矢量单位。例如在四分之一亮度像素精度的表示中,编码值 (4,0) 对应水平方向一个完整亮度像素,而不是四个像素。实际实现必须根据标准和运动矢量精度解释其坐标。
判断一次运动补偿是否正确,可以检查三个结果:参考帧索引一致、恢复的运动矢量与编码器一致、预测块每个采样位置与插值结果一致。三项全部满足后,才有条件保证编码器和解码器的帧间预测过程同步。