编码与格式 / 系统课时

区分空间冗余与时间冗余

区分空间冗余与时间冗余

同一帧里,相邻像素往往具有相似的颜色;连续帧之间,背景和物体也经常保持相似。视频编码器正是利用这些重复信息减少需要保存的数据。本篇通过平坦区域、复杂纹理、静止背景和运动物体,建立判断空间冗余与时间冗余的方法,并理解预测编码为什么能够压缩视频。

学习目标

  • 区分空间冗余与时间冗余,并从画面内容中识别它们。
  • 使用具体像素和帧数据计算预测残差,理解减少重复信息的原理。
  • 判断不同视频场景适合采用帧内预测还是帧间预测。

空间冗余存在于同一帧内部

空间冗余指一帧图像内部不同位置的像素存在相关性。最典型的情况是平坦区域:一面白墙上的相邻像素颜色接近,没有必要把每个像素都当成完全独立的信息。

以一组横向相邻的 8 位亮度样本为例:

像素位置 P1 P2 P3 P4
实际亮度 100 101 100 102
预测亮度 100 100 100 100
预测残差 0 1 0 2

如果预测器能够利用已经重建的邻近样本推测当前区域亮度,那么原本接近 100 的像素值就可以转换为接近 0 的残差。这里的预测值 100 假定来自当前块外已经重建的参考样本,而不是提前读取待编码像素。

相比之下,草地、头发和密集文字具有更多高频细节,相邻像素变化可能很大。使用同一种平坦预测方式,残差就不一定小。

画面内容 像素相关性 典型预测效果
纯色墙面 通常很强 残差较小
平滑天空渐变 较强且存在方向趋势 方向预测效果较好
规则砖墙 存在重复纹理 合适的方向或块预测可能有效
随机噪声 通常较弱 残差难以压缩

空间冗余不等于画面缺少细节。规则的条纹、砖墙甚至边缘结构也可能具有可预测性;真正影响压缩效果的是预测器能否利用这些规律。

时间冗余存在于连续帧之间

时间冗余指不同时间的画面具有相似内容。例如固定机位拍摄会议室,连续两帧中的桌椅、墙壁和灯具几乎不变,变化可能只集中在说话者的嘴部或手部。

假设某个 16×16 的静止背景块包含 256 个亮度样本。在不考虑色度、封装等因素时,如果逐帧使用 8 位原始亮度表示,每帧需要 256×8=2048 bit。

若第二帧对应位置的 256 个亮度样本都与参考帧完全相同,就可以通过引用先前已重建的区域来预测,理想情况下整个块的预测残差均为 0。实际码流仍需要表示块的预测模式及其他必要语法信息,不能认为这个块必然只占 0 bit。

运动场景也存在时间冗余。假设一个物体从前一帧的横坐标 40 移动到当前帧的横坐标 44,纵坐标保持不变。编码器可尝试使用运动矢量 (4,0)(4,0),从参考帧偏移位置取得预测块,而不必重新独立描述物体的所有像素。

静止背景与运动物体的跨帧预测关系

需要注意,时间冗余与物体是否静止并不完全等价。摄像机平移时,整个画面可能发生位移,但参考帧里依然保留了大量可用于预测的纹理。运动补偿就是为寻找这种跨帧对应关系服务的。

预测编码怎样减少重复数据

预测编码通常不直接编码全部原始像素,而是先产生预测值,再编码原始值与预测值之间的差异,即预测残差。

r=x−x^r=x-\hat{x}

其中,xx 是原始样本,x^\hat{x} 是预测样本,rr 是残差。解码端在获得相同预测值及解码后的残差信息后,可以重建样本。若残差未经量化且无其他有损环节,则有 x=x^+rx=\hat{x}+r;实际有损编码通常使用量化后的残差重建近似值。

以原始亮度 103、预测亮度 100 为例,残差为 3。对于另一块亮度变化剧烈的区域,原始亮度 220、预测亮度 100,则残差为 120。通常前者更容易通过后续变换、量化与熵编码获得较少的码流比特,但不能简单地把残差数值大小当成最终文件大小。

帧内预测和帧间预测形成残差的过程

帧内预测和帧间预测的关键区别是参考数据的来源:

  • 帧内预测:使用当前帧已经重建的邻近样本建立预测,主要利用空间相关性。
  • 帧间预测:使用其他已重建参考帧的数据建立预测,通常结合运动估计与运动补偿,主要利用时间相关性。

编码器并非单纯选择残差最小的方式。它还需要考虑预测模式、运动信息和残差所需的比特,以及重建失真,通常通过率失真代价在候选模式之间进行选择。

用同一段视频判断两类冗余

考虑一段 1920×1080、30 fps、8 位单通道亮度视频。若仅按未压缩亮度样本计算,一帧包含 2,073,600 个样本,每帧 16,588,800 bit,即约 2.074 MB;每秒约 62.208 MB。这里采用十进制 MB,且尚未包含色度数据。

这只是原始数据量,不代表任何编码格式实际能够达到的压缩率。要判断压缩机会,可以将画面分为四类:

场景 主要可利用的冗余 判断依据
固定镜头下的白墙 空间与时间冗余都较强 帧内平滑,帧间基本不变
固定镜头下的树叶晃动 局部空间与时间冗余 纹理复杂,但可寻找跨帧对应区域
摄像机缓慢水平移动 时间冗余仍可能较强 可用运动矢量追踪场景内容
全屏独立随机噪声 两类冗余通常都较弱 相邻像素与连续帧均难以预测

实际观察时,先冻结某一帧,检查平坦区域、边缘和重复纹理,这是空间冗余判断;再逐帧播放,检查不变背景、局部位移和新出现的遮挡区域,这是时间冗余判断。

还可以做一个简化的数字练习:某块在参考帧中的四个亮度为 80、82、81、83,当前帧对应四个亮度为 81、82、80、83。假定直接使用对应位置的参考像素作为预测,残差分别为 1、0、-1、0。四个残差的绝对值之和仅为 2,说明该区域跨帧预测十分有效。

如果当前帧换成 20、210、35、180,残差则变为 -60、128、-46、97,绝对值之和达到 331。此时需要检查是否发生运动、遮挡或场景切换,而不是直接认定必须使用帧内编码。

容易混淆的压缩结论

空间冗余和时间冗余描述的是数据相关性,不是固定的压缩比例。不能说空间预测一定节省 50%,或帧间预测一定比帧内预测节省 80%。实际码率还受到内容复杂度、量化强度、预测精度、参考帧、熵编码及编码器设置影响。

同样,残差全为 0 不代表最终码流为 0,因为仍可能需要模式、运动矢量差、块划分等信息。预测残差很小,也不意味着一定无损;量化可能丢弃细节,导致重建画面与原始画面不同。

判断某个区域更适合哪种预测时,可以采用一个可检查的顺序:先观察当前帧附近有没有可利用的空间结构,再观察参考帧中能否找到相似区域,最后比较包含预测信息与残差在内的编码代价。这样就能把‘画面有重复’转化为编码器实际可以利用的预测机会。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

区分空间冗余与时间冗余

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通