编码与格式 / 系统课时

将预测残差变换为变换系数

将预测残差变换为变换系数

视频编码器完成帧内预测后,还需要保存原始像素与预测像素之间的差异。直接编码这些差值通常不够高效。本课通过一个可手算的 4×4 残差块和 Python 实验,观察二维变换如何重新分布残差能量,并理解变换系数在后续量化与像素重建中的作用。

学习目标

  • 能计算原始块与预测块的残差,解释残差正负值的含义。
  • 能使用二维 DCT 实验观察低频与高频系数的能量分布。
  • 能区分 DCT 类变换、标准规定的整数变换与量化,理解逆变换重建过程。

从预测像素得到残差

假设编码器正在处理一个 8 位灰度视频的 4×4 块。帧内预测器根据已经重建的相邻像素生成预测块 PP,编码器同时持有当前原始块 XX。

残差逐像素计算:

R(i,j)=X(i,j)−P(i,j)R(i,j)=X(i,j)-P(i,j)

例如,原始块四行均为 [108, 110, 112, 114],预测块四行均为 [100, 100, 100, 100],则残差块每一行都是 [8, 10, 12, 14]。

位置 原始值 预测值 残差
第 1 行第 1 列 108 100 8
第 1 行第 4 列 114 100 14
第 4 行第 2 列 110 100 10

残差为正,表示预测值偏低;残差为负,表示预测值偏高。即使原始像素限定在 0~255,残差也必须使用带符号且范围足够的表示,不能直接存进无符号 8 位数组,否则负数会发生错误转换。

预测越准确,残差通常越小,但小残差不等于已经达到最优压缩。编码器还希望利用相邻残差之间的相关性,让后续编码更容易集中处理重要信息。

二维变换怎样集中能量

残差块的相邻像素通常具有相似变化。二维离散余弦变换(DCT)把空间域的残差表示成不同水平与垂直频率的系数。它不是把残差直接删除,而是更换表示坐标。

对正交归一化的二维 DCT-II,可按先行后列的方式计算,也可写成矩阵形式:

C=ARATC=ARA^{T}

其中 RR 是残差矩阵,AA 是一维 DCT 变换矩阵,CC 是二维变换系数矩阵。正交变换满足能量守恒:

∑i,jR(i,j)2=∑u,vC(u,v)2\sum_{i,j}R(i,j)^2=\sum_{u,v}C(u,v)^2

变换系数的左上角是直流分量(DC),描述整个块的平均残差;越往右,水平方向变化频率越高;越往下,垂直方向变化频率越高。自然图像中平滑的残差往往将较多能量集中到低频区域,但纹理、噪声和锐利边缘也可能产生显著高频系数。

二维DCT系数的频率位置与能量集中

上述特定残差块在垂直方向上没有变化,因此它的垂直非零频率分量为零。沿水平方向存在平滑递增趋势,能量主要分布在 DC 和少数低频系数中。这就是变换后系数可能更适合量化与熵编码的原因。

使用 Python 验证变换结果

下面用 NumPy 构造正交归一化 DCT-II 矩阵,避免依赖某个视频编码器的内部实现。环境要求 Python 3.10 或更新版本,并安装 NumPy。

执行安装命令:

bash
python -m pip install numpy

预期结果:安装成功后,命令正常退出,具体下载与安装日志因环境而异。

将下面的完整代码保存为 dct_demo.py,使用 python dct_demo.py 运行。

python
import numpy as np

# 使用浮点数组保存带符号残差,避免 uint8 下溢。
original = np.tile([108, 110, 112, 114], (4, 1)).astype(float)
predicted = np.full((4, 4), 100.0)
residual = original - predicted

n = 4
A = np.zeros((n, n))
for k in range(n):
    scale = np.sqrt(1 / n) if k == 0 else np.sqrt(2 / n)
    for x in range(n):
        A[k, x] = scale * np.cos(np.pi * (2 * x + 1) * k / (2 * n))

# 二维正交 DCT-II 及其逆变换。
coeff = A @ residual @ A.T
restored = A.T @ coeff @ A
energy = np.sum(residual ** 2)
low_energy = np.sum(coeff[:2, :2] ** 2)

print('残差第一行:', residual[0].astype(int).tolist())
print('变换系数:')
print(np.round(coeff, 2))
print(f'原始能量: {energy:.2f}')
print(f'左上2x2能量占比: {low_energy / energy:.2%}')
print(f'最大重建误差: {np.max(np.abs(restored - residual)):.2e}')

预期输出(NumPy 浮点末位可能略有差别):

text
残差第一行: [8, 10, 12, 14]
变换系数:
[[ 44.    -8.92   0.    -0.63]
 [  0.     0.     0.     0.  ]
 [  0.     0.     0.     0.  ]
 [  0.     0.     0.     0.  ]]
原始能量: 2016.00
左上2x2能量占比: 99.98%
最大重建误差: <接近零的浮点误差>

最后一行是结果说明,不是固定的数值输出:实际运行会显示一个很小的科学计数法数值。此例 DC 系数为 44,来自残差均值 11 与 4×4 正交变换的归一化关系。原始能量是 2016,左上 2×2 区域包含约 99.98% 的能量。

可以把 original 改为棋盘状高低交替的块,再观察右下区域系数。此时高频能量会明显增加,说明能量集中程度取决于残差内容,不能认为所有视频块都只有低频系数。

整数变换与量化的区别

真实视频编解码器通常使用标准规定的有限精度变换实现。以 H.264/AVC 的常见 4×4 整数变换为例,它使用整数运算友好的变换核与配套缩放、量化处理,而不是直接照搬上面 NumPy 的浮点正交 DCT 矩阵。HEVC、VVC 等标准还定义不同块尺寸或变换类型,具体选择取决于编码工具和模式。

需要区分两个动作:

处理环节 主要作用 是否必然有损
正向变换 将空间残差映射为频率系数 不应简单视为主动丢弃高频信息;有限精度实现另有舍入规则
量化 对系数进行尺度缩减、舍入,使更多系数成为零 通常有损
反量化与逆变换 从量化系数恢复近似残差 不能恢复已被量化丢弃的信息

为了理解量化,可暂时采用教学用的均匀标量量化,而不是某个标准的实际量化公式:

q=round⁡(cΔ),c^=qΔq=\operatorname{round}\left(\frac{c}{\Delta}\right),\qquad \hat c=q\Delta

例如取量化步长 Δ=4\Delta=4,系数 44 量化为 11,逆量化仍为 44;系数 -0.63 量化为 0,逆量化后也为 0。小系数变成零后,通常更容易通过扫描及熵编码压缩,但对应细节也可能丢失。

从变换系数回到重建像素

编码器需要在本地执行与解码器匹配的重建流程,否则后续帧内预测使用的参考像素可能不一致,产生编码端与解码端漂移。

典型的有损残差重建过程如下:

  1. 对原始像素与预测像素求差,得到带符号残差块。
  2. 对残差进行正向变换,随后量化并编码系数。
  3. 在编码器重建环路中对量化系数反量化、逆变换,得到重建残差。
  4. 将重建残差加回预测块,按像素位深允许的范围裁剪,形成重建像素;标准规定的其他环路处理在对应阶段继续执行。

残差变换量化及编码端重建闭环

仍用前面的 4×4 数据,假设为了演示而只保留 DC 系数 44,其余系数全部置零。执行正交逆 DCT 后,每个位置的重建残差都会是 11。因此重建像素四列全部为 111,而原始四列为 108、110、112、114。

此时每一行的重建误差(原始减重建)是 [-3, -1, 1, 3],单行平方误差和为 20,整个 4×4 块的平方误差和为 80,均方误差为 5。若保留所有未量化系数,理论上可恢复原始残差,浮点实验中仅剩微小数值误差。

这说明变换本身主要负责改变残差的表示方式;真正的率失真取舍发生在量化与系数编码选择中。实际项目比较变换策略时,应同时记录压缩后的比特数、重建误差和计算开销,而不能只看低频能量占比。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

将预测残差变换为变换系数

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通