编码与格式 / 系统课时

通过块划分选择预测粒度

通过块划分选择预测粒度

面对一帧同时包含平坦天空、清晰建筑边缘和复杂树叶的视频画面,如果所有区域都使用相同大小的块进行编码,就容易浪费码率或损失细节。本课通过具体的块划分案例,说明如何根据图像内容选择预测粒度,并理解块尺寸对压缩效率、画质和计算量的影响。

学习目标

  • 区分平坦区域、边缘区域和复杂纹理区域对块尺寸的不同需求。
  • 理解固定块、可变块及四叉树递归划分的工作方式。
  • 使用具体数值比较块划分对预测误差、编码开销和计算复杂度的影响。

为什么不同区域需要不同大小的块

视频编码器通常不会直接对整帧图像统一预测,而是先将画面划分为若干区域,再为每个区域选择预测方式。帧内预测会利用同一帧中已经重建的相邻样本产生预测值,然后编码原始样本与预测值之间的残差。

假设一帧画面包含以下三种区域:

画面区域 像素特点 适合尝试的块尺寸 主要原因
蓝天、纯色墙面 亮度变化缓慢 32×32、64×64 较少的块能够降低划分和模式信息开销
建筑轮廓、斜线边缘 方向明显,边界两侧差异大 8×8、16×16 小块更容易局部匹配边缘方向
树叶、头发、细密纹理 高频变化多,方向不统一 4×4、8×8 小块能够更灵活地适应局部结构

这些尺寸只是说明预测粒度的示例,并非编码器必须采用的固定规则。不同编码标准允许的块结构、最小尺寸和划分限制并不完全相同。

平坦区域边缘区域复杂纹理区域的块划分对比

需要特别注意:复杂纹理不代表一定要使用最小块。若细节接近随机噪声,小块带来的预测改善可能不足以抵消额外编码开销,编码器也可能选择较大的块或其他编码工具。

固定块与可变块的区别

固定块划分是指按照统一尺寸切分待编码区域。例如,将一个64×64的正方形区域全部划分为8×8块,需要64个子块;若统一划分为16×16,则只需要16个子块。

固定块容易实现,数据组织与遍历规则也比较简单,但不能充分适应画面内容。平坦区域可能产生过多不必要的小块,而跨越明显边缘的大块可能出现较大的预测残差。

可变块划分允许编码器根据局部内容决定是否继续细分。以一种简化的四叉树结构为例:

  1. 从一个64×64区域开始,先评估不继续划分的编码代价。
  2. 将它拆分成四个32×32区域,分别评估编码代价。
  3. 对边缘复杂的32×32区域继续拆分为16×16,必要时继续拆分。
  4. 比较包含划分信令在内的总代价,保留代价较低的方案。

64乘64区域的四叉树递归块划分

上述四叉树属于便于理解的简化模型。H.264/AVC 支持多种宏块内预测划分;HEVC 使用编码树单元及递归四叉树划分;VVC 则引入更灵活的四叉树加多类型树划分,可以使用二叉与三叉划分。不能将四叉树视为所有视频编码标准的统一结构。

块尺寸如何影响编码成本

选择块尺寸时至少需要同时考虑预测误差、额外比特数和计算成本。

较大的块通常意味着更少的块级模式及划分信息,适合结构简单的区域。但如果一个块跨越多个不同方向的纹理,单一预测模式可能无法准确描述整个区域。

较小的块允许使用更多局部预测模式,有机会减小残差。不过,块数量增加后,编码器需要传输更多预测模式、划分标志等信息,还需要评估更多候选方案。

下面以一个64×64区域为例,仅计算固定方块划分产生的块数量:

块尺寸 块数量 相对8×8块数量
64×64 1 1/64
32×32 4 1/16
16×16 16 1/4
8×8 64 1
4×4 256 4倍

例如,8×8划分比16×16多出48个块。如果每块假设额外平均消耗3 bit传输相关控制信息,仅按这一简化假设,小块方案就多消耗144 bit。这个数值是教学算例,不代表实际码流中的固定开销;真实编码中的模式信令、上下文编码和划分语法具有相关性。

但小块也可能大幅减少残差所需的比特。因此,仅比较块数量无法判断最终码率。

用率失真代价决定是否继续划分

实际编码器常通过率失真优化比较候选方案。一个典型的代价函数为:

J=D+λRJ=D+\lambda R

其中,DD 是重建失真,RR 是编码所需比特数,λ\lambda 是控制码率与失真权衡的拉格朗日乘子。比较不同划分方案时,应将相关划分信息、预测模式和残差的码率计入RR。

假设同一个32×32区域具有两种候选方案,失真采用同一尺度的平方误差和,设λ=4\lambda=4:

候选方案 失真D 码率R 总代价J
不划分,保留32×32 1800 180 bit 2520
划分为四个16×16 900 310 bit 2140

大块方案的代价为1800+4×180=25201800+4\times180=2520;小块方案为900+4×310=2140900+4\times310=2140。因此,这一次比较应选择四个16×16块。

如果内容变成平坦墙面,小块方案的失真只能从1800降到1700,码率依然为310 bit,则其代价为2940,反而应该保留32×32块。

编码器通常需要对各候选划分下的预测、变换、量化和重建进行评估,才能得到更接近实际的率失真代价。单独比较原始块的像素方差,只能作为快速判断的启发式信息,不能等同于完整率失真优化。

预测粒度与计算复杂度的取舍

块越小并不意味着编码时间严格按照块数量同比增长,因为候选预测模式、边界样本准备、变换规模和搜索剪枝都会影响实际开销。但如果大量区域递归拆分,待评估节点数通常明显上升。

例如,一个64×64区域从根节点开始,完整四叉树拆分到8×8时,会产生1个64×64节点、4个32×32节点、16个16×16节点和64个8×8节点,共85个节点。如果编码器对这些节点都评估不划分候选方案,工作量会明显高于只评估64×64根节点。

工程中常使用以下方法缩短编码搜索时间:

  • 平坦区域优先尝试大块,如果预测残差足够小,就减少进一步拆分的候选搜索。
  • 边缘和纹理明显的区域允许更深的划分,但设置标准允许的最小块尺寸与搜索深度限制。
  • 编码速度优先的场景,可以启用编码器提供的快速划分决策或较快的编码预设,但需测量实际画质与码率变化。

验证划分效果时,可以使用编码器的块结构可视化或调试信息,对同一片段比较块尺寸分布,同时记录编码时间、输出文件大小与客观质量指标。例如在相同输入、分辨率和质量目标下,比较不同搜索复杂度设置,观察是否出现编码时间明显增长却几乎没有质量改善的情况。

最终应让平坦区域尽量使用成本较低的大块,让边缘和复杂纹理获得必要的局部细分,同时通过率失真比较避免无收益的小块划分。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

通过块划分选择预测粒度

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通