编码与格式 / 系统课时

用亚像素插值细化运动补偿

用亚像素插值细化运动补偿

当物体在相邻视频帧之间只移动半个像素时,整数像素运动估计无法准确描述这个位移。亚像素运动补偿通过插值构造分数像素位置的预测样本,让预测块更接近当前块,从而减少帧间残差。本篇通过数值算例解释插值过程、搜索收益及其计算代价。

学习目标

  • 理解整数像素、半像素和四分之一像素运动补偿的区别。
  • 能够手算简单的分数像素插值与残差,并解释编码收益。
  • 掌握亚像素搜索的基本步骤,以及精度、码率和计算复杂度之间的关系。

整数像素为什么无法表达细小位移

假设一段视频中的物体每帧向右移动 0.5 像素。运动估计需要在参考帧中寻找与当前块最相似的区域,但整数像素搜索只能选择坐标为 0、1、2 等整数的位置。

如果真实位移为 0.5 像素,整数搜索可能返回 0 或 1。两者都存在半个像素的定位误差。在平坦区域,这种误差可能不明显;在字幕边缘、细线条或高对比度轮廓附近,误差却可能产生较大的残差。

运动向量可以用整数像素单位描述,也可以使用更精细的分数像素单位。例如水平方向的位移可以表示为:

位移 运动向量水平分量 含义
整数位置 1.00 移动一个完整像素
半像素位置 0.50 移动半个像素
四分之一像素位置 0.25 移动四分之一个像素

这些数值表示像素位移,不是图像分辨率发生变化。亚像素补偿不会要求摄像机真的拍摄额外的像素,而是利用已有参考样本计算预测值。

整数像素与分数像素运动位置对比

插值怎样生成不存在的像素位置

先用一个简化的一维亮度信号理解插值。假设参考帧水平方向相邻两个 8 位亮度样本分别为 80 和 120。

采用线性插值时,两点之间位置 tt 的预测值为:

P(t)=(1−t)A+tBP(t)=(1-t)A+tB

其中 A=80A=80、B=120B=120,且 0≤t≤10\leq t\leq1。代入不同位置,可以得到:

位置 tt 计算过程 插值亮度
0 原始样本 A 80
0.25 0.75×80+0.25×1200.75\times80+0.25\times120 90
0.50 0.5×80+0.5×1200.5\times80+0.5\times120 100
0.75 0.25×80+0.75×1200.25\times80+0.75\times120 110
1 原始样本 B 120

假设当前帧对应位置的实际亮度为 102,使用整数位置 80 预测时,残差为 22;使用整数位置 120 预测时,残差为 -18;改用半像素位置 100,残差只剩 2。

实际视频编码器通常使用具有规定系数和舍入规则的插值滤波器,而不是直接对两个相邻样本做线性平均。例如 H.264/AVC 对亮度半像素位置使用六抽头滤波,并可进一步得到四分之一像素预测位置;HEVC 则使用不同的亮度和色度分数像素插值滤波器。因此,上面的线性算例用于解释原理,不能直接当作这些标准的规范实现。

二维运动还可能同时包含水平和垂直分数位移,需要根据相应编码标准的滤波规则产生二维预测样本,并按规定完成舍入与裁剪。

分数像素插值生成预测样本的过程

从整数匹配细化到亚像素匹配

实际编码器通常先寻找较好的整数像素候选,再围绕该位置细化到半像素或四分之一像素,避免直接在大范围内穷举所有分数位置。

以一个 16×16 亮度块为例,可以采用以下教学用局部搜索过程:

  1. 在参考帧中搜索整数像素位置,通过 SAD 或其他匹配代价选出初始候选。
  2. 以最佳整数位置为中心,检查其周围八个半像素偏移位置,并保留中心候选参与比较。
  3. 选择当前代价最低的位置作为下一轮细化中心。
  4. 如果启用四分之一像素精度,再比较该中心附近的四分之一像素候选。
  5. 保存最终运动向量,通过运动补偿生成预测块,并计算当前块与预测块的残差。

SAD 即绝对差之和,计算公式为:

SAD=∑i=1N∣Ci−Pi∣SAD=\sum_{i=1}^{N}|C_i-P_i|

这里 CiC_i 为当前块样本,PiP_i 为预测样本,N=256N=256 表示 16×16 块的样本总数。

例如某次局部搜索得到以下候选代价:

运动向量 (x,y)(x,y) SAD
(1.00, 0.00) 960
(1.50, 0.00) 510
(1.25, 0.00) 420
(1.75, 0.00) 640

如果只按照 SAD 判断,这组候选中 (1.25, 0.00) 最好。但实际编码器还要考虑运动向量编码开销,常使用率失真代价进行综合比较:

J=D+λRJ=D+\lambda R

其中 DD 表示失真,RR 表示估计或实际编码比特数,λ\lambda 为率失真权重。不同搜索阶段对 DD 和 RR 的估算方式可能不同,不能把 SAD 最低直接等同于最终码率最低。

整数搜索到四分之一像素细化的局部搜索路径

预测残差为什么变小但码率未必下降

亚像素预测可以降低匹配误差,但插值后的预测样本依然需要和当前块逐样本相减。所得残差通常还要经过变换、量化及熵编码,才能成为压缩码流的一部分。

考虑一个简化实验:同一个块采用整数预测时 SAD 为 960,采用四分之一像素预测时 SAD 为 420,下降比例为:

960−420960×100%=56.25%\frac{960-420}{960}\times100\%=56.25\%

这只能说明该匹配指标减少了 56.25%,不能推断最终视频码率也减少 56.25%。真实码率还取决于量化、变换系数分布、运动向量差分、参考帧索引和块划分等因素。

例如,假设使用同一个失真指标与一致的码率估计方式,得到以下假想的率失真数据:

预测方案 失真 D 比特数 R JJ(λ=2\lambda=2)
整数像素 900 40 980
半像素 520 50 620
四分之一像素 500 75 650

在这个例子中,四分之一像素的失真最低,但半像素的综合代价最小,因此编码器可能选择半像素候选。

还要注意,运动补偿本身并不自动改变原始帧。它只负责产生预测块;残差的变换、量化与重建由后续编码环节完成。

精度提升带来的计算成本

亚像素搜索增加了插值样本计算、候选块匹配及缓存访问开销。若仅考虑一个 16×16 亮度块,每评估一个候选位置,直接计算 SAD 就需要比较 256 对样本。

假设使用中心位置加周围八个候选的九点搜索,并在半像素与四分之一像素两个层次分别评估一次,那么仅这两轮就涉及最多 9×256×2=46089\times256\times2=4608 次样本绝对差计算,不包括整数搜索、插值、边界处理和其他编码决策。实际实现可以缓存插值结果、复用候选及采用快速搜索,所以这个数字只代表教学用的朴素计算量。

工程上可以按照使用场景调整搜索复杂度:

  • 实时直播:优先满足编码速度和端到端延迟,适当限制运动搜索范围、细化候选数或使用更快的编码预设。
  • 离线转码:允许更充分的运动搜索和率失真决策,以换取可能更好的压缩效率。
  • 高纹理或明显运动区域:分数像素精度可能显著改善预测,但具体收益需要实际编码测量。
  • 平坦区域:多个候选可能产生相似残差,进一步细化不一定值得支付运动向量和计算成本。

可通过固定源视频、编码标准、目标质量与其他编码参数,对比不同搜索设置下的编码时间、输出码率、PSNR 或 VMAF。仅看到残差下降不足以证明压缩性能整体提升。

用一个四样本实验检查插值收益

取一行参考亮度样本 20、60、100、140,假设当前帧对应位置的四个样本为 40、80、120、160。为计算最后一个半像素预测值,再假设参考序列向右延伸一个亮度样本 180。

按照教学用线性半像素插值,参考序列前四组相邻样本的平均值分别是 40、80、120、160,恰好与当前样本相同,SAD 为 0。

若不使用插值,而选择参考帧前四个整数样本 20、60、100、140,四个位置的绝对差均为 20,SAD 为 80。

这个算例表明:当实际采样变化接近插值模型时,分数像素预测能够显著减少残差。不过真实视频还存在遮挡、噪声、亮度变化、纹理混叠和插值滤波误差,不能期待所有运动块都得到零残差。

判断是否值得启用更精细的运动补偿,应同时检查预测失真、运动信息比特数与编码耗时。亚像素插值提供了更细的预测位置,但最终选择仍由完整的编码代价决定。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

用亚像素插值细化运动补偿

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通