编码与格式 / 系统课时
编码帧间残差和运动信息
编码帧间残差和运动信息
帧间预测找到相似画面后,编码器仍需保存预测误差,以及解码器重建预测块所需的运动信息。本篇通过一个具体的块编码算例,拆解运动矢量、参考索引、预测模式和量化残差各自的职责,并解释为什么预测误差更小,不代表最终码率一定更低。
学习目标
- 能区分运动信息与残差信息,说明解码器如何利用两者重建图像。
- 能计算简单的帧间残差,理解变换、量化和反变换的作用。
- 能使用率失真代价比较候选预测方案,而不是只看残差大小。
帧间编码究竟需要保存什么
假设当前视频块是一辆正在移动的汽车,参考帧中已经存在外观相似的汽车。编码器可以从参考帧取出一个预测块,再编码当前块与预测块之间的差异,而不必重新编码整个当前块。
一个典型的帧间编码块涉及四类信息:
| 信息 | 主要职责 | 具体示例 |
|---|---|---|
| 预测模式 | 告诉解码器采用哪种帧间预测方式 | 单向预测、双向预测、Skip 等 |
| 参考索引 | 指明使用参考图片列表中的哪张参考图片 | List0 中索引为 0 的参考图片 |
| 运动矢量 | 指定参考图片中的采样位置偏移 | 水平 +4、垂直 -2 个亮度采样单位 |
| 量化残差 | 表示预测仍未解释的图像差异 | 变换系数量化后的非零系数 |
这里的参考索引不是文件中的绝对帧号,而是对应参考图片列表中的索引。运动矢量也不是天然以像素为单位存储:编码标准通常支持分数像素精度,并通过插值生成预测样本。
运动矢量在实际码流中还常通过运动矢量预测值与差值表示,预测模式、参考索引和矢量相关信息也可能由邻块推导,因此并非每个块都会显式写入所有字段。

从预测误差到量化残差
先使用一个 2×2 的亮度样本块理解残差。假设当前块和运动补偿得到的预测块分别为:
| 位置 | 当前块 | 预测块 | 残差 |
|---|---|---|---|
| 左上 | 105 | 100 | +5 |
| 右上 | 109 | 108 | +1 |
| 左下 | 103 | 104 | -1 |
| 右下 | 111 | 110 | +1 |
残差出现负数是正常的,因为残差计算发生在有符号数值域中,而不是将负值直接截断为零。
一般可以把残差编码概括为以下过程:
- 计算当前原始块与运动补偿预测块之间的样本差值。
- 对残差执行编码标准规定的变换,或选择允许的变换跳过路径,将能量集中到较少的系数上。
- 使用量化参数控制系数精度,小幅系数可能变成零。
- 扫描量化系数,并通过熵编码保存有效系数及相关语法信息。
- 编码器内部执行反量化、反变换,将重建残差加回预测块,形成供后续预测使用的重建图像。
为了直观理解量化,暂时忽略具体标准的整数变换和缩放规则,假设某组变换系数为 ,使用教学用的均匀标量量化步长 :
得到量化结果 (这里采用对半值远离零取整的约定)。反量化后约为 ,与原始系数不同。这说明量化通常会引入不可逆损失,并让更多系数变为零,从而降低残差信息的编码开销。
解码器如何组合运动与残差
解码器无法访问编码前的原始当前块,只能依赖码流语法与已经解码的参考图片进行重建。对于普通的帧间预测块,核心关系是:
其中 是运动补偿预测块, 是反量化和反变换得到的重建残差, 是重建图像块。Clip 按样本位深限制合法取值,例如 8 位亮度样本通常限制在 0~255。
仍以左上角样本为例:原始值是 105,预测值是 100。若量化后的重建残差为 +4,则重建值为 104,产生 1 个亮度级的重建误差。
需要注意三个边界:
- 如果量化残差全部为零,重建块可直接等于预测块,但这不代表预测与原始块完全相同。
- Skip 模式可以省略残差系数并推导部分运动信息;它并不等于完全没有预测过程。
- 编码器用于后续帧间预测的参考图片应采用本地重建结果,而不是未经量化的原始图片,否则编解码器参考不一致会导致漂移。
实际标准还可能在参考图片使用前应用环路滤波,具体取决于编码规范及工具启用情况。
为什么最低残差未必具有最低码率
更准确的运动搜索通常能减小预测残差,但运动矢量、参考索引及模式同样需要占用码率。编码器必须同时考虑失真与整个候选方案的比特代价。
常见率失真优化使用以下目标函数:
其中 表示重建失真, 表示估算或实际编码比特数, 是将码率代价映射到失真代价的权重。同一轮模式决策中,通常选择 较小的候选方案。
假设同一个块有三种可选方案,失真使用相同尺度的平方误差和,码率包括运动、模式和残差语法,取 :
| 候选方案 | 失真 | 运动及模式比特 | 残差比特 | 总比特 | 代价 |
|---|---|---|---|---|---|
| A:精细运动搜索 | 80 | 90 | 30 | 120 | 320 |
| B:较简单的运动预测 | 100 | 20 | 45 | 65 | 230 |
| C:残差全零 | 180 | 10 | 0 | 10 | 200 |
候选 A 的重建失真最小,但因为运动信息成本较高,率失真代价反而最大。此例中 C 的 最小,因此按照给定权重选择 C;如果画质要求提高、对应的 降低,决策结果可能变化。
注意这里比较的是量化重建后的失真,不是直接把原始残差绝对值之和当作最终失真。表中比特数是演示用的假设值,并非对实际编码器进行过熵编码测量。
编码器实现中的检查重点
实际调试帧间编码时,建议分别记录运动信息开销、残差系数开销与重建失真。只统计残差大小,容易得出错误结论。
可以对同一段包含平移物体和静止背景的测试视频进行以下检查:
- 固定分辨率、帧率、编码预设和参考图片配置,对比相邻两个 QP 设置,例如 H.264 编码中的 QP 28 与 QP 34。
- 记录总码率、PSNR 或其他固定口径的失真指标,以及编码器能够提供的运动信息与残差比特统计。
- 观察平坦背景块是否更容易出现零残差;复杂运动区域是否需要更多非零系数或更复杂的运动表达。
- 若更精确的运动搜索反而增加总比特,应检查参考索引、运动矢量差值和模式开销,而不是直接判定运动搜索失效。
不同编码器公开的统计粒度不同,有些只能提供整帧码率或模式分布,无法直接读取每个块的运动比特。此时应使用支持语法分析或块级追踪的调试工具,避免把估计值误认为实际码流开销。
还有一个容易混淆的点:在相同 QP 下获得更小的残差,不保证编码比特更少;而在固定目标码率下,编码器可能重新分配比特、调整量化强度。因此比较候选模式时要统一失真定义、码率统计口径和编码条件。
实际帧间编码的完整成本来自两部分:告诉解码器怎样找到预测内容,以及告诉解码器预测还差多少。运动信息和量化残差应作为一个整体参与率失真决策,才能解释为什么某些预测更准确的方案最终没有被选中。