编码与格式 / 系统课时

编码帧间残差和运动信息

编码帧间残差和运动信息

帧间预测找到相似画面后,编码器仍需保存预测误差,以及解码器重建预测块所需的运动信息。本篇通过一个具体的块编码算例,拆解运动矢量、参考索引、预测模式和量化残差各自的职责,并解释为什么预测误差更小,不代表最终码率一定更低。

学习目标

  • 能区分运动信息与残差信息,说明解码器如何利用两者重建图像。
  • 能计算简单的帧间残差,理解变换、量化和反变换的作用。
  • 能使用率失真代价比较候选预测方案,而不是只看残差大小。

帧间编码究竟需要保存什么

假设当前视频块是一辆正在移动的汽车,参考帧中已经存在外观相似的汽车。编码器可以从参考帧取出一个预测块,再编码当前块与预测块之间的差异,而不必重新编码整个当前块。

一个典型的帧间编码块涉及四类信息:

信息 主要职责 具体示例
预测模式 告诉解码器采用哪种帧间预测方式 单向预测、双向预测、Skip 等
参考索引 指明使用参考图片列表中的哪张参考图片 List0 中索引为 0 的参考图片
运动矢量 指定参考图片中的采样位置偏移 水平 +4、垂直 -2 个亮度采样单位
量化残差 表示预测仍未解释的图像差异 变换系数量化后的非零系数

这里的参考索引不是文件中的绝对帧号,而是对应参考图片列表中的索引。运动矢量也不是天然以像素为单位存储:编码标准通常支持分数像素精度,并通过插值生成预测样本。

运动矢量在实际码流中还常通过运动矢量预测值与差值表示,预测模式、参考索引和矢量相关信息也可能由邻块推导,因此并非每个块都会显式写入所有字段。

帧间块预测与残差信息的关系

从预测误差到量化残差

先使用一个 2×2 的亮度样本块理解残差。假设当前块和运动补偿得到的预测块分别为:

位置 当前块 XX 预测块 PP 残差 E=X−PE=X-P
左上 105 100 +5
右上 109 108 +1
左下 103 104 -1
右下 111 110 +1

残差出现负数是正常的,因为残差计算发生在有符号数值域中,而不是将负值直接截断为零。

一般可以把残差编码概括为以下过程:

  1. 计算当前原始块与运动补偿预测块之间的样本差值。
  2. 对残差执行编码标准规定的变换,或选择允许的变换跳过路径,将能量集中到较少的系数上。
  3. 使用量化参数控制系数精度,小幅系数可能变成零。
  4. 扫描量化系数,并通过熵编码保存有效系数及相关语法信息。
  5. 编码器内部执行反量化、反变换,将重建残差加回预测块,形成供后续预测使用的重建图像。

为了直观理解量化,暂时忽略具体标准的整数变换和缩放规则,假设某组变换系数为 [20,4,−3,1][20,4,-3,1],使用教学用的均匀标量量化步长 Q=8Q=8:

qi=round⁡(ciQ)q_i=\operatorname{round}\left(\frac{c_i}{Q}\right)

得到量化结果 [3,1,0,0][3,1,0,0](这里采用对半值远离零取整的约定)。反量化后约为 [24,8,0,0][24,8,0,0],与原始系数不同。这说明量化通常会引入不可逆损失,并让更多系数变为零,从而降低残差信息的编码开销。

解码器如何组合运动与残差

解码器无法访问编码前的原始当前块,只能依赖码流语法与已经解码的参考图片进行重建。对于普通的帧间预测块,核心关系是:

X^=Clip⁡(P+E^)\hat X=\operatorname{Clip}(P+\hat E)

其中 PP 是运动补偿预测块,E^\hat E 是反量化和反变换得到的重建残差,X^\hat X 是重建图像块。Clip 按样本位深限制合法取值,例如 8 位亮度样本通常限制在 0~255。

仍以左上角样本为例:原始值是 105,预测值是 100。若量化后的重建残差为 +4,则重建值为 104,产生 1 个亮度级的重建误差。

需要注意三个边界:

  • 如果量化残差全部为零,重建块可直接等于预测块,但这不代表预测与原始块完全相同。
  • Skip 模式可以省略残差系数并推导部分运动信息;它并不等于完全没有预测过程。
  • 编码器用于后续帧间预测的参考图片应采用本地重建结果,而不是未经量化的原始图片,否则编解码器参考不一致会导致漂移。

实际标准还可能在参考图片使用前应用环路滤波,具体取决于编码规范及工具启用情况。

为什么最低残差未必具有最低码率

更准确的运动搜索通常能减小预测残差,但运动矢量、参考索引及模式同样需要占用码率。编码器必须同时考虑失真与整个候选方案的比特代价。

常见率失真优化使用以下目标函数:

J=D+λRJ=D+\lambda R

其中 DD 表示重建失真,RR 表示估算或实际编码比特数,λ\lambda 是将码率代价映射到失真代价的权重。同一轮模式决策中,通常选择 JJ 较小的候选方案。

假设同一个块有三种可选方案,失真使用相同尺度的平方误差和,码率包括运动、模式和残差语法,取 λ=2\lambda=2:

候选方案 失真 DD 运动及模式比特 残差比特 总比特 RR 代价 JJ
A:精细运动搜索 80 90 30 120 320
B:较简单的运动预测 100 20 45 65 230
C:残差全零 180 10 0 10 200

候选 A 的重建失真最小,但因为运动信息成本较高,率失真代价反而最大。此例中 C 的 JJ 最小,因此按照给定权重选择 C;如果画质要求提高、对应的 λ\lambda 降低,决策结果可能变化。

注意这里比较的是量化重建后的失真,不是直接把原始残差绝对值之和当作最终失真。表中比特数是演示用的假设值,并非对实际编码器进行过熵编码测量。

编码器实现中的检查重点

实际调试帧间编码时,建议分别记录运动信息开销、残差系数开销与重建失真。只统计残差大小,容易得出错误结论。

可以对同一段包含平移物体和静止背景的测试视频进行以下检查:

  1. 固定分辨率、帧率、编码预设和参考图片配置,对比相邻两个 QP 设置,例如 H.264 编码中的 QP 28 与 QP 34。
  2. 记录总码率、PSNR 或其他固定口径的失真指标,以及编码器能够提供的运动信息与残差比特统计。
  3. 观察平坦背景块是否更容易出现零残差;复杂运动区域是否需要更多非零系数或更复杂的运动表达。
  4. 若更精确的运动搜索反而增加总比特,应检查参考索引、运动矢量差值和模式开销,而不是直接判定运动搜索失效。

不同编码器公开的统计粒度不同,有些只能提供整帧码率或模式分布,无法直接读取每个块的运动比特。此时应使用支持语法分析或块级追踪的调试工具,避免把估计值误认为实际码流开销。

还有一个容易混淆的点:在相同 QP 下获得更小的残差,不保证编码比特更少;而在固定目标码率下,编码器可能重新分配比特、调整量化强度。因此比较候选模式时要统一失真定义、码率统计口径和编码条件。

实际帧间编码的完整成本来自两部分:告诉解码器怎样找到预测内容,以及告诉解码器预测还差多少。运动信息和量化残差应作为一个整体参与率失真决策,才能解释为什么某些预测更准确的方案最终没有被选中。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

编码帧间残差和运动信息

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通