编码与格式 / 系统课时

用邻近像素构造帧内预测

用邻近像素构造帧内预测

面对一块尚未编码的图像区域,编码器可以利用同一帧中已经重建的上方和左侧像素,提前猜测块内的像素值。本篇通过一个 4×4 数值算例,拆解 DC、平面和方向预测,观察不同纹理如何影响预测误差,并理解编码器怎样选择预测模式。

学习目标

  • 理解帧内预测为何必须使用已重建的邻近像素,以及参考样本的可用性限制。
  • 能够手算一个 4×4 块的 DC 预测,并解释平面预测与方向预测的差异。
  • 能根据平坦、渐变和斜向纹理判断适合尝试的预测模式,并比较预测误差。

参考像素从哪里来

帧内预测只依赖当前图像中的空间邻域,不需要寻找其他时间帧。编码器处理当前块时,通常已经获得上方和左侧区域的重建样本,因此可以利用这些样本生成预测块。

这里的关键是已重建:编码器不能直接拿相邻块未经量化的原始像素作为解码器必须使用的参考,否则解码端拿不到相同的数值,重建结果就可能不一致。

以 8 位亮度分量中的 4×4 块为例,设上方四个可用参考像素为 100、104、108、112,左侧四个参考像素为 98、96、94、92。当前块的原始像素还需要通过预测和残差表示。

帧内预测块与上方左侧参考像素的位置关系

实际编码时,还要检查参考样本是否可用。例如位于画面最上边缘的块没有上方邻居;位于独立编码区域边界时,也可能无法跨边界引用。具体填充、替代和滤波规则由编码标准规定,不能假定任何位置都可以直接读取上下左右像素。

另外,预测块右侧和下侧通常尚未重建,不属于当前预测时可随意读取的参考区域。编码器只能使用该标准在当前解码顺序和边界条件下允许的样本。

DC 预测:用平均值填满整个块

DC 预测适合变化较小的亮度区域。它将可用参考样本汇总成一个代表值,再用同一个数值预测当前块的所有位置,因此不擅长描述块内的方向变化。

为了便于手算,先约定采用一个教学用的简化规则:上方和左侧各有 4 个样本时,将 8 个样本求平均并四舍五入。这个算例不是对所有编码标准及边界情形的位精确实现。

PDC=round⁡(100+104+108+112+98+96+94+928)=101P_{DC}=\operatorname{round}\left(\frac{100+104+108+112+98+96+94+92}{8}\right)=101

由此得到的 4×4 预测块为:

行号 列 1 列 2 列 3 列 4
1 101 101 101 101
2 101 101 101 101
3 101 101 101 101
4 101 101 101 101

假设真实块的第一行是 101、103、107、111,那么这一行的预测残差(原始值减预测值)分别为 0、2、6、10。DC 无法跟随向右逐渐增加的亮度,因此越靠右,误差越大。

如果真实块的 16 个像素全部接近 101,例如取值在 99~103 之间,那么 DC 往往能够产生较小的残差。对大面积近似均匀的墙面、天空区域,可以优先尝试此类模式。

平面预测:让块内亮度连续变化

平面预测(Planar)适合平滑渐变。它不再使用单一常数,而是根据邻近边界构造随水平和垂直位置变化的预测值。

可以把它理解为用一个平滑亮度面覆盖当前块:靠左位置更多体现左侧边界趋势,靠上位置更多体现上方边界趋势,随着位置变化逐渐过渡。它能描述二维亮度梯度,但不适合突然出现的锐利边缘。

以 4×4 块为例,假设某一连续区域的亮度每向右增加 4,每向下增加 2,理想的渐变块如下:

行号 列 1 列 2 列 3 列 4
1 100 104 108 112
2 102 106 110 114
3 104 108 112 116
4 106 110 114 118

这个表描述的是便于理解的线性渐变目标,并非根据上一节那组参考值计算得到的某个标准 Planar 模式的位精确输出。如果边界样本也遵循相同渐变趋势,平面预测通常比全部填为 101 的 DC 预测更容易贴近原始像素。

DC 常数预测与平面渐变预测的空间对比

在 H.264、HEVC、VVC 等标准中,可以见到与平面预测相关的模式,但它们的支持块大小、参考位置和计算细节并不完全相同。实现具体解码器时必须使用对应标准定义的整数计算规则,而不能直接套用普通浮点插值。

方向预测:沿纹理方向延伸参考样本

当图像中存在清晰的水平、垂直或斜向纹理时,方向预测通常更有效。它根据选定方向,将边界参考像素延伸或插值到块内部,使预测值沿纹理方向保持一定连续性。

以最容易理解的垂直延伸为例:如果模式规定当前块每一行直接采用上方参考序列,那么上方的 100、104、108、112 会重复出现在块内四行。这能很好地预测竖向条纹或纵向延伸的结构。

相反,简单的水平延伸可以让每一行复制该行对应的左侧参考像素。对于从左向右保持稳定、在竖直方向发生变化的水平条纹,这种方式更贴近纹理。

垂直水平与斜向帧内预测的采样方向

对于斜向预测,预测位置投影到参考边界时可能落在两个整数采样点之间,因此需要按标准定义进行插值。不是所有斜向模式都能通过简单复制单个参考值完成。

不同标准的方向模式数量也不同。例如,HEVC 亮度帧内预测具有 33 种角度模式,再加 Planar 和 DC,共 35 种基本模式;H.264 的 4×4 亮度帧内预测则包含 9 种模式。不要把某一标准的模式索引、角度数量和插值规则直接用于另一标准。

用预测误差判断哪种模式更合适

预测的价值最终要通过残差衡量。对原始像素 X(i,j)X(i,j) 和预测像素 P(i,j)P(i,j),定义残差为:

R(i,j)=X(i,j)−P(i,j)R(i,j)=X(i,j)-P(i,j)

最简单的比较指标是绝对误差和(SAD):

SAD=∑i=0H−1∑j=0W−1∣X(i,j)−P(i,j)∣SAD=\sum_{i=0}^{H-1}\sum_{j=0}^{W-1}|X(i,j)-P(i,j)|

看一个可直接核算的 4×4 示例。假设真实块每行都为 100、104、108、112,上方参考样本也正好是这四个值。为了单独比较模式,约定 DC 候选恒填 106,垂直延伸候选每行复制顶部四个样本。这是教学比较,不代表某个具体标准的完整模式决策。

模式 预测内容 SAD
DC 常数预测 全部为 106 64
垂直延伸 每行 100、104、108、112 0
水平延伸 四行分别恒为 100、104、108、112 80

DC 的单行误差是 6+2+2+6=16,四行得到 64。垂直延伸恰好匹配原始块,因此 SAD 为 0。水平延伸在第一行产生 0+4+8+12=24,第二行产生 4+0+4+8=16,第三行也是 16,第四行是 12+8+4+0=24,合计 80。

这个结果说明,预测方向如果与纹理延伸方向一致,就可能显著减小残差;方向选错,即使参考样本本身准确,也未必有好的预测效果。

不过实际编码器不能只比较 SAD。还需要考虑残差经过变换、量化和熵编码之后的比特成本,以及模式信令和重建失真。常见的率失真决策形式为:

J=D+λRJ=D+\lambda R

其中 DD 是失真,RR 是编码比特数,λ\lambda 是权衡系数。SAD 可以用于候选模式的快速筛选,但不能直接等同于最终率失真代价。

从预测走向像素重建

选定帧内模式以后,编码器用原始块减去预测块得到残差,对残差进行变换、量化和编码。解码器依据收到的模式及邻近已重建像素生成相同的预测块,再加上经过反量化、逆变换得到的重建残差,最终恢复当前块。

帧内预测残差编码及解码端像素重建流程

实际重建过程中还涉及整数舍入、像素范围裁剪以及标准规定的其他处理。由于量化通常带来信息损失,重建块并不一定与原始块相同。后续块需要引用规范允许的重建样本,而不是回头使用原始块的像素。

可以做一个小练习:将上面四行均为 100、104、108、112 的真实块改为四行均为 112、108、104、100,并保持顶部参考值不变。此时简单垂直延伸的单行 SAD 是 12+4+4+12=32,总 SAD 为 128。原本为零的预测误差显著增加,说明参考样本与当前纹理的匹配程度,比单纯选择某个固定模式更重要。

在实际编码中,DC 用于近似均匀区域,Planar 用于平滑渐变,方向模式用于具有明显延伸方向的边缘和纹理。编码器通过候选搜索及率失真比较选择合适的模式,解码器则使用模式信息与相同的已重建参考样本复现预测结果。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

用邻近像素构造帧内预测

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通