编码与格式 / 系统课时
将预测残差变换为变换系数
将预测残差变换为变换系数
视频编码器完成帧内预测后,还需要保存原始像素与预测像素之间的差异。直接编码这些差值通常不够高效。本课通过一个可手算的 4×4 残差块和 Python 实验,观察二维变换如何重新分布残差能量,并理解变换系数在后续量化与像素重建中的作用。
学习目标
- 能计算原始块与预测块的残差,解释残差正负值的含义。
- 能使用二维 DCT 实验观察低频与高频系数的能量分布。
- 能区分 DCT 类变换、标准规定的整数变换与量化,理解逆变换重建过程。
从预测像素得到残差
假设编码器正在处理一个 8 位灰度视频的 4×4 块。帧内预测器根据已经重建的相邻像素生成预测块 ,编码器同时持有当前原始块 。
残差逐像素计算:
例如,原始块四行均为 [108, 110, 112, 114],预测块四行均为 [100, 100, 100, 100],则残差块每一行都是 [8, 10, 12, 14]。
| 位置 | 原始值 | 预测值 | 残差 |
|---|---|---|---|
| 第 1 行第 1 列 | 108 | 100 | 8 |
| 第 1 行第 4 列 | 114 | 100 | 14 |
| 第 4 行第 2 列 | 110 | 100 | 10 |
残差为正,表示预测值偏低;残差为负,表示预测值偏高。即使原始像素限定在 0~255,残差也必须使用带符号且范围足够的表示,不能直接存进无符号 8 位数组,否则负数会发生错误转换。
预测越准确,残差通常越小,但小残差不等于已经达到最优压缩。编码器还希望利用相邻残差之间的相关性,让后续编码更容易集中处理重要信息。
二维变换怎样集中能量
残差块的相邻像素通常具有相似变化。二维离散余弦变换(DCT)把空间域的残差表示成不同水平与垂直频率的系数。它不是把残差直接删除,而是更换表示坐标。
对正交归一化的二维 DCT-II,可按先行后列的方式计算,也可写成矩阵形式:
其中 是残差矩阵, 是一维 DCT 变换矩阵, 是二维变换系数矩阵。正交变换满足能量守恒:
变换系数的左上角是直流分量(DC),描述整个块的平均残差;越往右,水平方向变化频率越高;越往下,垂直方向变化频率越高。自然图像中平滑的残差往往将较多能量集中到低频区域,但纹理、噪声和锐利边缘也可能产生显著高频系数。

上述特定残差块在垂直方向上没有变化,因此它的垂直非零频率分量为零。沿水平方向存在平滑递增趋势,能量主要分布在 DC 和少数低频系数中。这就是变换后系数可能更适合量化与熵编码的原因。
使用 Python 验证变换结果
下面用 NumPy 构造正交归一化 DCT-II 矩阵,避免依赖某个视频编码器的内部实现。环境要求 Python 3.10 或更新版本,并安装 NumPy。
执行安装命令:
python -m pip install numpy预期结果:安装成功后,命令正常退出,具体下载与安装日志因环境而异。
将下面的完整代码保存为 dct_demo.py,使用 python dct_demo.py 运行。
import numpy as np
# 使用浮点数组保存带符号残差,避免 uint8 下溢。
original = np.tile([108, 110, 112, 114], (4, 1)).astype(float)
predicted = np.full((4, 4), 100.0)
residual = original - predicted
n = 4
A = np.zeros((n, n))
for k in range(n):
scale = np.sqrt(1 / n) if k == 0 else np.sqrt(2 / n)
for x in range(n):
A[k, x] = scale * np.cos(np.pi * (2 * x + 1) * k / (2 * n))
# 二维正交 DCT-II 及其逆变换。
coeff = A @ residual @ A.T
restored = A.T @ coeff @ A
energy = np.sum(residual ** 2)
low_energy = np.sum(coeff[:2, :2] ** 2)
print('残差第一行:', residual[0].astype(int).tolist())
print('变换系数:')
print(np.round(coeff, 2))
print(f'原始能量: {energy:.2f}')
print(f'左上2x2能量占比: {low_energy / energy:.2%}')
print(f'最大重建误差: {np.max(np.abs(restored - residual)):.2e}')预期输出(NumPy 浮点末位可能略有差别):
残差第一行: [8, 10, 12, 14]
变换系数:
[[ 44. -8.92 0. -0.63]
[ 0. 0. 0. 0. ]
[ 0. 0. 0. 0. ]
[ 0. 0. 0. 0. ]]
原始能量: 2016.00
左上2x2能量占比: 99.98%
最大重建误差: <接近零的浮点误差>最后一行是结果说明,不是固定的数值输出:实际运行会显示一个很小的科学计数法数值。此例 DC 系数为 44,来自残差均值 11 与 4×4 正交变换的归一化关系。原始能量是 2016,左上 2×2 区域包含约 99.98% 的能量。
可以把 original 改为棋盘状高低交替的块,再观察右下区域系数。此时高频能量会明显增加,说明能量集中程度取决于残差内容,不能认为所有视频块都只有低频系数。
整数变换与量化的区别
真实视频编解码器通常使用标准规定的有限精度变换实现。以 H.264/AVC 的常见 4×4 整数变换为例,它使用整数运算友好的变换核与配套缩放、量化处理,而不是直接照搬上面 NumPy 的浮点正交 DCT 矩阵。HEVC、VVC 等标准还定义不同块尺寸或变换类型,具体选择取决于编码工具和模式。
需要区分两个动作:
| 处理环节 | 主要作用 | 是否必然有损 |
|---|---|---|
| 正向变换 | 将空间残差映射为频率系数 | 不应简单视为主动丢弃高频信息;有限精度实现另有舍入规则 |
| 量化 | 对系数进行尺度缩减、舍入,使更多系数成为零 | 通常有损 |
| 反量化与逆变换 | 从量化系数恢复近似残差 | 不能恢复已被量化丢弃的信息 |
为了理解量化,可暂时采用教学用的均匀标量量化,而不是某个标准的实际量化公式:
例如取量化步长 ,系数 44 量化为 11,逆量化仍为 44;系数 -0.63 量化为 0,逆量化后也为 0。小系数变成零后,通常更容易通过扫描及熵编码压缩,但对应细节也可能丢失。
从变换系数回到重建像素
编码器需要在本地执行与解码器匹配的重建流程,否则后续帧内预测使用的参考像素可能不一致,产生编码端与解码端漂移。
典型的有损残差重建过程如下:
- 对原始像素与预测像素求差,得到带符号残差块。
- 对残差进行正向变换,随后量化并编码系数。
- 在编码器重建环路中对量化系数反量化、逆变换,得到重建残差。
- 将重建残差加回预测块,按像素位深允许的范围裁剪,形成重建像素;标准规定的其他环路处理在对应阶段继续执行。

仍用前面的 4×4 数据,假设为了演示而只保留 DC 系数 44,其余系数全部置零。执行正交逆 DCT 后,每个位置的重建残差都会是 11。因此重建像素四列全部为 111,而原始四列为 108、110、112、114。
此时每一行的重建误差(原始减重建)是 [-3, -1, 1, 3],单行平方误差和为 20,整个 4×4 块的平方误差和为 80,均方误差为 5。若保留所有未量化系数,理论上可恢复原始残差,浮点实验中仅剩微小数值误差。
这说明变换本身主要负责改变残差的表示方式;真正的率失真取舍发生在量化与系数编码选择中。实际项目比较变换策略时,应同时记录压缩后的比特数、重建误差和计算开销,而不能只看低频能量占比。