编码与格式 / 系统课时

判断 Skip 和 Merge 的使用条件

判断 Skip 和 Merge 的使用条件

编码一段包含静止背景和匀速移动物体的视频时,并非每个块都需要重新传输运动矢量和残差。HEVC(H.265)的 Merge 模式可以复用已有运动信息,Skip 模式则进一步省略残差数据。本篇通过具体块案例,判断两种模式何时有效、何时容易产生失真。

学习目标

  • 区分 Merge 与 Skip 在运动信息、残差和编码开销上的差异。
  • 理解 HEVC Merge 候选的来源、选择过程及有效性限制。
  • 根据预测误差、残差收益与率失真代价判断适用模式。

Merge 与 Skip 究竟省掉了什么

帧间预测通常需要确定参考图片、运动矢量,再用预测块与当前块之间的差值形成残差。传统的显式运动信息编码需要传递运动矢量差值等语法信息,而 Merge 可以直接采用候选中的运动信息。

在 HEVC 中,Merge 是帧间预测单元(PU)的一种运动信息推导方式。编码器通过索引选择一个 Merge 候选,解码器使用相同规则重建该候选的参考索引、运动矢量及预测方向。Merge 本身并不表示残差必须为零。

Skip 则是进一步满足无残差编码条件的特殊情形:采用 Merge 推导运动信息,不传输变换系数,重建块直接采用运动补偿预测结果。

比较项 普通显式运动信息帧间模式 Merge Skip
运动信息 显式编码预测差值等信息 通过候选索引复用 通过候选索引复用
残差系数 可编码 可编码 不编码
块重建 预测加解码残差 预测加解码残差 直接使用预测
典型用途 新运动或候选不准确 运动可复用但仍有预测误差 运动可复用且残差收益很小

HEVC 如何构造与选择 Merge 候选

Merge 的前提是编码器与解码器能独立推导出相同的候选列表。HEVC 通常先检查已经可用的空间邻块,再考虑时间同位块,最后根据列表状态补充组合或零运动候选。

HEVC Merge 空间候选位置与时间候选关系示意

HEVC 空间候选的常见检查顺序为 A1、B1、B0、A0、B2。B2 是受条件约束的后备位置,并非总会加入。空间候选必须满足可用性规则,例如邻块不能属于不可用区域、不能是帧内预测块,还需遵循相应的编码边界限制。

时间候选从参考图片的同位块获得运动信息,必要时对运动矢量进行时间尺度缩放。对于 B Slice,Merge 候选还可能包含符合规则的双向预测组合。列表不足时可以补入零运动候选,重复或无效候选按标准规则处理。

以最大 Merge 候选数配置为 5 的编码情形为例,实际列表可能包含以下运动信息:

索引 来源 运动信息示例
0 A1 L0,MV=(4,0)
1 B1 L0,MV=(0,0)
2 时间候选 L0,MV=(3,0)
3 其他有效候选 L0,MV=(4,1)
4 补充候选 L0,MV=(0,0)

这里的 MV 使用四分之一亮度采样精度表示,(4,0) 对应水平方向一个亮度样本的位移。表格仅展示一种可能的候选列表,实际索引取决于邻块可用性、去重、参考索引和补充规则;相同数值的运动矢量也不必然意味着完整运动信息相同。

编码器不是简单地选择距离最近的邻块,而是测试有效候选的预测效果。候选能否复用还取决于参考图片索引、预测方向以及局部运动是否相符。

静止区域和重复运动区域的判断

先看一个 16×16 的平坦背景块。假设参考图片中的对应区域保持不变,零运动 Merge 候选生成的预测块与当前块相同,所有预测残差都是 0。此时再编码残差不会改善重建质量,Skip 通常是有竞争力的选择。

再看摄像机水平平移产生的连续运动区域。若多个相邻块使用相同参考图片、相同运动方向和位移,当前块可能直接复用左侧邻块的 Merge 候选。即使运动信息完全正确,插值误差、噪声和遮挡也可能留下非零残差,因此 Merge 加残差仍可能优于 Skip。

静止背景、重复运动与遮挡边缘的帧间预测对比图

可以先用以下经验判断,再由编码器完成最终模式选择:

  • 静止纹理或稳定背景:优先测试零运动候选及 Skip,但需要确认预测参考与当前内容一致。
  • 平移、跟拍或局部匀速运动:测试复用相邻运动信息的 Merge;若残差明显,再比较 Merge 加残差。
  • 物体边缘、遮挡、新出现区域:即使邻块运动相同,当前块也可能出现较大预测误差,应比较显式运动搜索和残差编码。
  • 亮度变化、噪声或纹理细节:运动信息正确不代表残差为零,直接 Skip 可能造成可见损失。

用率失真代价决定是否采用 Skip

编码器最终通常通过率失真优化比较候选模式,而非仅看运动矢量是否相等。典型目标函数为:

J=D+λRJ = D + \lambda R

其中 DD 是重建失真,RR 是估计编码比特数,λ\lambda 控制失真与码率之间的取舍。各编码器的实际失真度量、比特估计与搜索策略可能不同。

假设同一个块测试得到如下数据,并设 λ=2\lambda=2,失真与比特开销均采用本例的统一计算口径:

模式 失真 D 比特数 R 代价 J
Skip 420 8 436
Merge 加残差 130 75 280
显式运动加残差 100 105 310

计算 Merge 加残差的代价为 130+2×75=280130+2\times75=280,因此在这个候选集合中应选择 Merge 加残差,而不是比特数最少的 Skip。

若同一场景使用更大的 λ=6\lambda=6,三种模式的代价分别为 468、580 和 730,Skip 反而胜出。这说明高压缩压力下,编码器可能主动舍弃一定画质来减少比特。

这些数值是用于解释决策的假设数据,不是 HEVC 标准规定的阈值。不能将残差平方和低于某个固定数值直接当成 Skip 的通用启用条件。

容易误判的边界条件

最常见的错误是把静止画面、零运动矢量和 Skip 视为同一件事。实际上,镜头中物体静止时,参考图片仍可能存在亮度变化;使用零运动矢量也可能需要编码显著残差。反过来,运动物体经过精确运动补偿后,完全可能使用非零运动矢量的 Skip。

另一个错误是认为 Merge 候选命中就一定最省码率。候选索引虽然避免显式传输运动矢量差值,但如果参考块不准确,会增加残差比特或重建失真。在运动边界处,编码器往往需要比较多个候选、显式运动搜索及不同块划分。

实际分析时可以按照以下顺序检查:

  1. 确认当前块属于可使用帧间预测的区域,并检查实际参考图片与相邻候选是否有效。
  2. 对每个可用 Merge 候选执行运动补偿,计算预测误差。
  3. 分别评估 Skip 和 Merge 加残差的失真、模式语法开销与残差开销。
  4. 与其他合法帧间模式比较率失真代价,检查选中模式对应的重建画面。

判断 Skip 的关键是:复用候选运动信息后,省略残差所增加的失真是否值得节省的比特。判断 Merge 的关键则是:现有候选能否用更少的运动信息开销实现足够准确的预测。两者可以使用相同运动候选,却因为残差编码决策不同而产生完全不同的画质与码率结果。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

判断 Skip 和 Merge 的使用条件

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通