编码与格式 / 系统课时
用亚像素插值细化运动补偿
用亚像素插值细化运动补偿
当物体在相邻视频帧之间只移动半个像素时,整数像素运动估计无法准确描述这个位移。亚像素运动补偿通过插值构造分数像素位置的预测样本,让预测块更接近当前块,从而减少帧间残差。本篇通过数值算例解释插值过程、搜索收益及其计算代价。
学习目标
- 理解整数像素、半像素和四分之一像素运动补偿的区别。
- 能够手算简单的分数像素插值与残差,并解释编码收益。
- 掌握亚像素搜索的基本步骤,以及精度、码率和计算复杂度之间的关系。
整数像素为什么无法表达细小位移
假设一段视频中的物体每帧向右移动 0.5 像素。运动估计需要在参考帧中寻找与当前块最相似的区域,但整数像素搜索只能选择坐标为 0、1、2 等整数的位置。
如果真实位移为 0.5 像素,整数搜索可能返回 0 或 1。两者都存在半个像素的定位误差。在平坦区域,这种误差可能不明显;在字幕边缘、细线条或高对比度轮廓附近,误差却可能产生较大的残差。
运动向量可以用整数像素单位描述,也可以使用更精细的分数像素单位。例如水平方向的位移可以表示为:
| 位移 | 运动向量水平分量 | 含义 |
|---|---|---|
| 整数位置 | 1.00 | 移动一个完整像素 |
| 半像素位置 | 0.50 | 移动半个像素 |
| 四分之一像素位置 | 0.25 | 移动四分之一个像素 |
这些数值表示像素位移,不是图像分辨率发生变化。亚像素补偿不会要求摄像机真的拍摄额外的像素,而是利用已有参考样本计算预测值。

插值怎样生成不存在的像素位置
先用一个简化的一维亮度信号理解插值。假设参考帧水平方向相邻两个 8 位亮度样本分别为 80 和 120。
采用线性插值时,两点之间位置 的预测值为:
其中 、,且 。代入不同位置,可以得到:
| 位置 | 计算过程 | 插值亮度 |
|---|---|---|
| 0 | 原始样本 A | 80 |
| 0.25 | 90 | |
| 0.50 | 100 | |
| 0.75 | 110 | |
| 1 | 原始样本 B | 120 |
假设当前帧对应位置的实际亮度为 102,使用整数位置 80 预测时,残差为 22;使用整数位置 120 预测时,残差为 -18;改用半像素位置 100,残差只剩 2。
实际视频编码器通常使用具有规定系数和舍入规则的插值滤波器,而不是直接对两个相邻样本做线性平均。例如 H.264/AVC 对亮度半像素位置使用六抽头滤波,并可进一步得到四分之一像素预测位置;HEVC 则使用不同的亮度和色度分数像素插值滤波器。因此,上面的线性算例用于解释原理,不能直接当作这些标准的规范实现。
二维运动还可能同时包含水平和垂直分数位移,需要根据相应编码标准的滤波规则产生二维预测样本,并按规定完成舍入与裁剪。

从整数匹配细化到亚像素匹配
实际编码器通常先寻找较好的整数像素候选,再围绕该位置细化到半像素或四分之一像素,避免直接在大范围内穷举所有分数位置。
以一个 16×16 亮度块为例,可以采用以下教学用局部搜索过程:
- 在参考帧中搜索整数像素位置,通过 SAD 或其他匹配代价选出初始候选。
- 以最佳整数位置为中心,检查其周围八个半像素偏移位置,并保留中心候选参与比较。
- 选择当前代价最低的位置作为下一轮细化中心。
- 如果启用四分之一像素精度,再比较该中心附近的四分之一像素候选。
- 保存最终运动向量,通过运动补偿生成预测块,并计算当前块与预测块的残差。
SAD 即绝对差之和,计算公式为:
这里 为当前块样本, 为预测样本, 表示 16×16 块的样本总数。
例如某次局部搜索得到以下候选代价:
| 运动向量 | SAD |
|---|---|
| (1.00, 0.00) | 960 |
| (1.50, 0.00) | 510 |
| (1.25, 0.00) | 420 |
| (1.75, 0.00) | 640 |
如果只按照 SAD 判断,这组候选中 (1.25, 0.00) 最好。但实际编码器还要考虑运动向量编码开销,常使用率失真代价进行综合比较:
其中 表示失真, 表示估计或实际编码比特数, 为率失真权重。不同搜索阶段对 和 的估算方式可能不同,不能把 SAD 最低直接等同于最终码率最低。

预测残差为什么变小但码率未必下降
亚像素预测可以降低匹配误差,但插值后的预测样本依然需要和当前块逐样本相减。所得残差通常还要经过变换、量化及熵编码,才能成为压缩码流的一部分。
考虑一个简化实验:同一个块采用整数预测时 SAD 为 960,采用四分之一像素预测时 SAD 为 420,下降比例为:
这只能说明该匹配指标减少了 56.25%,不能推断最终视频码率也减少 56.25%。真实码率还取决于量化、变换系数分布、运动向量差分、参考帧索引和块划分等因素。
例如,假设使用同一个失真指标与一致的码率估计方式,得到以下假想的率失真数据:
| 预测方案 | 失真 D | 比特数 R | () |
|---|---|---|---|
| 整数像素 | 900 | 40 | 980 |
| 半像素 | 520 | 50 | 620 |
| 四分之一像素 | 500 | 75 | 650 |
在这个例子中,四分之一像素的失真最低,但半像素的综合代价最小,因此编码器可能选择半像素候选。
还要注意,运动补偿本身并不自动改变原始帧。它只负责产生预测块;残差的变换、量化与重建由后续编码环节完成。
精度提升带来的计算成本
亚像素搜索增加了插值样本计算、候选块匹配及缓存访问开销。若仅考虑一个 16×16 亮度块,每评估一个候选位置,直接计算 SAD 就需要比较 256 对样本。
假设使用中心位置加周围八个候选的九点搜索,并在半像素与四分之一像素两个层次分别评估一次,那么仅这两轮就涉及最多 次样本绝对差计算,不包括整数搜索、插值、边界处理和其他编码决策。实际实现可以缓存插值结果、复用候选及采用快速搜索,所以这个数字只代表教学用的朴素计算量。
工程上可以按照使用场景调整搜索复杂度:
- 实时直播:优先满足编码速度和端到端延迟,适当限制运动搜索范围、细化候选数或使用更快的编码预设。
- 离线转码:允许更充分的运动搜索和率失真决策,以换取可能更好的压缩效率。
- 高纹理或明显运动区域:分数像素精度可能显著改善预测,但具体收益需要实际编码测量。
- 平坦区域:多个候选可能产生相似残差,进一步细化不一定值得支付运动向量和计算成本。
可通过固定源视频、编码标准、目标质量与其他编码参数,对比不同搜索设置下的编码时间、输出码率、PSNR 或 VMAF。仅看到残差下降不足以证明压缩性能整体提升。
用一个四样本实验检查插值收益
取一行参考亮度样本 20、60、100、140,假设当前帧对应位置的四个样本为 40、80、120、160。为计算最后一个半像素预测值,再假设参考序列向右延伸一个亮度样本 180。
按照教学用线性半像素插值,参考序列前四组相邻样本的平均值分别是 40、80、120、160,恰好与当前样本相同,SAD 为 0。
若不使用插值,而选择参考帧前四个整数样本 20、60、100、140,四个位置的绝对差均为 20,SAD 为 80。
这个算例表明:当实际采样变化接近插值模型时,分数像素预测能够显著减少残差。不过真实视频还存在遮挡、噪声、亮度变化、纹理混叠和插值滤波误差,不能期待所有运动块都得到零残差。
判断是否值得启用更精细的运动补偿,应同时检查预测失真、运动信息比特数与编码耗时。亚像素插值提供了更细的预测位置,但最终选择仍由完整的编码代价决定。