编码与格式 / 系统课时

对比 SAO、CDEF 与环路恢复

对比 SAO、CDEF 与环路恢复

视频经过预测、变换和量化后,即使完成去块滤波,仍可能出现色阶断层、边缘振铃和纹理模糊。本篇对比 H.265/HEVC 的 SAO、AV1 的 CDEF 与环路恢复,结合像素算例和解码链路,判断各自修复什么失真、如何工作,以及为什么不能直接互相替代。

学习目标

  • 区分 SAO、CDEF 与环路恢复的处理机制和典型适用失真。
  • 说明三种工具在 HEVC、AV1 解码重建链路中的准确位置。
  • 根据具体画面失真,判断应重点检查哪个滤波阶段及其副作用。

先区分三种失真与滤波职责

量化会丢失部分变换系数,逆变换只能得到近似的重建像素。去块滤波主要处理块边界的不连续,但无法恢复全部丢失的细节,也不一定能消除边缘附近的振荡。

失真类型 画面表现 主要处理工具
块效应 8×8 或更大块边界出现明显接缝 去块滤波 DBF
色带与样本偏差 天空渐变出现分层,部分亮度区间整体偏亮或偏暗 HEVC SAO,尤其是 BO
振铃 文字、高反差物体轮廓旁出现明暗波纹 HEVC SAO 的 EO、AV1 CDEF
模糊与局部重建误差 细纹理不清晰,局部结构与原图存在偏差 AV1 环路恢复,可改善部分误差但不能凭空找回细节

这些工具的职责存在交叉。例如 SAO 的边缘偏移能够减轻某些振铃,但它不具备 CDEF 那样的方向性邻域平滑机制。环路恢复也不是通用锐化器,而是在受限的滤波模型中尽量减小重建误差。

SAO:按样本类别补偿像素偏差

HEVC 中的 SAO(Sample Adaptive Offset,样本自适应偏移)位于去块滤波之后。它不直接对邻域取平均,而是先分类,再给当前样本加上指定偏移量,并裁剪到合法像素范围。

SAO 以编码树单元 CTU 对应的区域为基础组织参数,针对亮度和色度分量可以独立选择处理方式。主要有两种模式。

带偏移 BO

BO(Band Offset)根据样本自身的幅值进行分类。对于 8 位像素,0~255 被分成 32 个带,每带覆盖 8 个亮度等级。编码器选择连续的 4 个带并为其指定偏移量,其余带不补偿。

假设需要处理的四个带是 12~15,偏移量依次为 +2、+1、-1、-2:

原始重建值 所属带 偏移量 SAO 输出
98 12 +2 100
106 13 +1 107
115 14 -1 114
123 15 -2 121
150 18 0 150

计算方法是先求整数带号 value >> 3,再查找对应的偏移量。表中的数值仅用于演示分类与补偿,不代表编码器对这些像素一定会选用上述偏移。

当渐变区域的一组重建值存在系统性偏差时,BO 能以较低的信令成本修正它们,但不能保证恢复量化前的全部色阶。

边缘偏移 EO

EO(Edge Offset)依据当前样本与指定方向上两个邻居的大小关系分类。HEVC 支持水平、垂直和两种对角方向,形成局部极小值、极大值、单侧高低以及平坦或单调等类别。

例如水平方向三个值为 100、96、101,中间的 96 是局部极小值。若该类别的偏移为 +2,则中心值变成 98。邻居用于判断类别,最终修改的是中心样本。

CDEF:沿结构方向抑制振铃

AV1 的 CDEF(Constrained Directional Enhancement Filter,约束方向增强滤波)主要针对边缘附近的振铃,同时尽量保留有意义的方向结构。

普通的各向同性平滑会同时处理横向和纵向邻居。例如一条斜向白线穿过黑色背景,直接采用方形均值滤波可能把白线与黑背景混在一起,使轮廓变粗、变灰。

CDEF 的处理思路不同:

  1. 对亮度区域分析局部变化,选择八个候选方向中的主方向。
  2. 沿主方向施加主要滤波,并在与主方向相差约 45° 的方向施加次要滤波。
  3. 使用约束函数限制与中心样本差异过大的邻居贡献,避免明显跨越强边缘进行平均。
  4. 将滤波后的结果裁剪至允许的样本范围,得到输出。

AV1 CDEF 主方向和约束滤波的空间示意

CDEF 的约束阈值与滤波强度有关,也受阻尼参数影响。邻居和中心样本差距越大,其参与滤波的贡献通常越容易受到限制。

以一个中心样本 100 为例,沿边缘方向有 98、102 两个邻居,而跨越边缘的邻居值为 180。合理的约束会允许前两者参与平滑,并显著限制 180 的影响。这里的数值用于解释约束逻辑,并不是 AV1 滤波公式的精确输出。

在 AV1 中,CDEF 的强度可以按区域选择,编码器会权衡消除振铃的收益与损失纹理的风险。强度过大时,头发、草地、细文字等高频结构也可能被抹平。

环路恢复:进一步降低局部重建误差

AV1 的 Loop Restoration(环路恢复,LR)位于 CDEF 和可选超分辨率上采样之后。它根据较大恢复单元中的图像特征和编码器发送的参数,对仍然存在的重建误差进行补偿。

AV1 定义两类主要恢复滤波器,并允许关闭恢复:

恢复类型 机制 适合观察的场景
RESTORE_NONE 不执行环路恢复 纹理已清晰,继续滤波收益不足
RESTORE_WIENER 使用可分离的二维 7×7 Wiener 滤波器 存在较稳定的局部重建误差或模糊
RESTORE_SGRPROJ 基于自引导滤波结果进行投影组合 需要依赖局部图像结构抑制噪声与重建误差

Wiener 滤波器通过有限的滤波系数组合邻域像素;AV1 对其系数结构和精度有规范限制,不是任意尺寸的反卷积网络。

SGRPROJ(Self-Guided Restoration with Projection)使用局部统计信息产生自引导滤波结果,再通过投影权重进行组合。它能根据区域变化调整滤波行为,但不保证所有细节都更清晰。

一个可检查的判断方法是比较编码器侧的恢复前后失真。假设同一个 128×128 样本区域,在与源图比较时平方误差和从 360000 降至 320000,则平均平方误差 MSE 从约 21.97 降至 19.53,改善约 11.1%。实际编码器还必须计入发送恢复模式和参数的码率成本,因此失真下降并不自动意味着应该启用该模式。

两套标准的执行位置与差异

理解处理先后顺序时,必须区分 HEVC 与 AV1。SAO 不属于 AV1 的规范滤波链;CDEF 和这里介绍的环路恢复也不是 HEVC 的解码工具。

HEVC 的典型重建顺序是:预测与残差相加得到重建图像,执行去块滤波,再执行可选 SAO,最后将结果作为后续预测可以使用的参考图像。

AV1 的典型顺序是:生成重建图像,执行去块滤波,执行可选 CDEF,再进行可能启用的环内水平超分辨率上采样,随后执行可选环路恢复,最终更新参考帧缓冲区。

HEVC 与 AV1 环路滤波执行链路对比

这个顺序解释了为什么三种滤波器不能简单互换:

  • SAO 根据分类结果直接补偿样本值,目标是修正某些系统性重建偏差。
  • CDEF 依赖局部方向及受约束的邻域关系,主要抑制振铃并保护明显边缘。
  • 环路恢复处理前面阶段之后留下的误差,通过 Wiener 或 SGRPROJ 等方式进一步改善重建结果。

滤波顺序是标准规定的解码行为,不是播放器提供的三个可随意拖动的效果插件。环路中的修改会改变后续帧可能引用的像素,因此不能由解码端单方面调整滤波算法或系数。

根据画面症状判断滤波效果

假设一段 1920×1080、8 位、4:2:0 的视频,包含渐变天空、深色背景上的白色字幕和远处细密的树叶。为了比较滤波器,可以截取相同时间戳和区域,在相同解码输出条件下进行观察。

观察区域 优先检查 需要防范的副作用
天空的亮度色带 HEVC 的 SAO BO 偏移过度造成新的亮度跳变
白色字幕边缘的明暗波纹 AV1 的 CDEF 字体细线被平滑、边缘发虚
细密树叶的局部重建误差 AV1 的环路恢复 真实高频纹理被滤除

进行实验时,可以在具备相应编码开关的编码器中对同一源视频生成不同滤波配置的码流,并确保分辨率、码率控制方式和质量评估方法可比。不能把关闭滤波后的画面直接当作同一合规码流的标准解码结果;对编码器配置的改变通常意味着需要重新编码。

建议记录三个检查量:边缘区域是否产生新的光晕、平坦区域的色阶是否更自然、纹理区域是否出现明显模糊。若有原始无损或高质量参考,还可以计算 PSNR 或 SSIM,但应结合肉眼观察,因为整体指标变好也可能伴随局部细节变差。

最终判断可以归纳为三个不同问题:需要按样本类别修正偏差时关注 SAO,需要沿空间方向压制振铃时关注 CDEF,需要利用局部恢复滤波进一步降低重建误差时关注环路恢复。分析实际码流时,先确认编码标准,再根据标准规定的处理顺序检查对应工具。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

对比 SAO、CDEF 与环路恢复

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通