编码与格式 / 系统课时
拆解 H.265 CTU 与编码单元
拆解 H.265 CTU 与编码单元
面对 4K 视频中的大面积平坦背景和细碎运动纹理,固定大小的编码块很难同时兼顾效率与细节。本文通过一个 64×64 区域的划分案例,拆解 H.265/HEVC 的 CTU、CU、PU、TU 各自负责什么,以及编码器怎样选择更合适的块大小。
学习目标
- 区分 H.264 宏块与 HEVC 编码树单元的组织方式。
- 解释 CTU、CU、PU、TU 的职责及其划分约束。
- 根据画面纹理和预测残差判断何时适合大块或小块编码。
从宏块过渡到编码树单元
H.264/AVC 以 16×16 亮度宏块为基本组织单位。它可以进一步使用 16×8、8×16、8×8 等运动补偿分区,因此不能简单理解为整个宏块始终按 16×16 预测。它的主要限制是宏块级组织粒度相对较小,对高分辨率画面中的大面积相似区域不够灵活。
HEVC 引入编码树单元 CTU(Coding Tree Unit),常见亮度尺寸为 64×64,也允许 32×32 或 16×16。CTU 包含相应的亮度编码树块、色度编码树块及语法信息,后续再递归划分编码单元。
以一张 3840×2160 的亮度图像为例:
| 组织方式 | 基本亮度区域 | 横向数量 | 纵向数量 | 总数量 |
|---|---|---|---|---|
| H.264 宏块 | 16×16 | 240 | 135 | 32400 |
| HEVC CTU | 64×64 | 60 | 34 | 2040 |
表中 HEVC 的纵向数量使用向上取整;最后一行 CTU 超出实际图像边界的部分不属于有效画面。CTU 数量减少不等于计算量同比例下降,因为内部仍需要划分搜索、预测和变换处理。
CTU 与 CU 的四叉树划分
一个 64×64 CTU 可以保持完整,也可以均分为四个 32×32 CU;每个 32×32 CU 又可以继续拆成四个 16×16 CU,直至编码器配置与码流参数允许的最小 CU 尺寸。HEVC 中常见最小亮度 CU 为 8×8。
假设 64×64 区域的左上角是平坦天空,右上角是建筑边缘,下半部分是草地,可以采用以下示意划分:
- 左上 32×32:保持一个 CU,避免为平坦区域引入过多划分开销。
- 右上 32×32:拆成四个 16×16 CU,适应建筑轮廓。
- 左下 32×32:保持一个 CU,适合纹理和运动较一致的草地。
- 右下 32×32:先拆成四个 16×16 CU,再把其中一个拆成四个 8×8 CU,处理细碎纹理。

注意,四叉树每次把正方形均分为四个正方形。CU 可以在不同区域采用不同深度,但不能在同一层直接切出任意尺寸的长方形;长方形预测区域通常由 PU 划分承担。
CU、PU、TU 分别负责什么
三者并非三个可以任意互相替代的块。CU 决定编码区域及其预测类型,PU 描述预测如何分区,TU 则负责预测之后的残差变换结构。
| 单元 | 全称 | 主要职责 | 典型情况 |
|---|---|---|---|
| CU | Coding Unit | 决定当前区域的编码方式及是否继续四叉树划分 | 32×32 CU |
| PU | Prediction Unit | 确定预测分区、帧内方向或帧间运动信息 | 32×16 帧间 PU |
| TU | Transform Unit | 对预测残差执行变换、量化或相应残差处理 | 8×8 TU |
例如一个采用帧间预测的 32×32 CU,可以选择两个 32×16 PU,分别使用适合上下两个区域的运动信息。预测完成后,残差还可以采用不同于 PU 边界的变换划分。
HEVC 的帧间预测支持对称分区,也支持部分非对称运动分区(AMP)。帧内预测则有不同约束:普通帧内 CU 通常使用与 CU 同尺寸的预测分区,最小尺寸 CU 还可采用四个子 PU。并不是所有 PU 形状都能用于任意预测模式。
TU 组织在变换树中,常见亮度变换块尺寸为 4×4、8×8、16×16、32×32;实际允许的尺寸还受到序列参数、CU 大小及变换树深度限制。PU 不直接决定 TU 大小。

编码器如何选择划分深度
划分并不是看到细节就无限细分。编码器通常比较候选方案的率失真代价:
其中 是失真, 是编码所需比特数, 是率失真权重。对于同一个区域和可比较的失真度量,代价较小的方案通常更值得选择。
假设某个 32×32 区域有两个候选方案,令 ,并使用同一失真度量:
| 方案 | 失真 D | 比特数 R | 代价 J |
|---|---|---|---|
| 不继续划分 | 500 | 120 | 740 |
| 划分为四个 16×16 CU | 240 | 200 | 640 |
细分方案虽然多用了 80 比特,但显著降低了失真,因此在这个假设下胜出。如果当前区域是平坦天空,细分只把失真从 100 降到 95,却让比特数从 40 增加到 90,那么两个方案的代价分别为 180 与 275,保持大块更合适。
实际编码器还会比较预测模式、运动信息、残差、变换结构和必要的划分信令。QP 改变时,量化误差和率失真权重也会变化,因此同一帧在不同码率目标下不一定得到相同的 CU 树。
HEVC 为高分辨率编码带来的收益与代价
大 CTU 有利于覆盖天空、墙面、缓慢运动背景等连续区域,减少不必要的细碎块组织与信令。小 CU 则适合复杂边缘、局部运动和细节变化,但需要更多模式搜索和编码信息。
检查 HEVC 编码器的块划分结果时,可以按以下顺序分析:
- 找到平坦区域,观察是否集中使用较大的 CU。
- 找到物体边缘和局部运动区域,观察是否出现更深的四叉树划分。
- 对照预测分区与变换分区,确认两者不必保持相同形状。
- 比较相同画面、不同 QP 下的划分结果,同时记录比特率、PSNR 或 VMAF 等指标,避免仅凭小块数量判断压缩质量。
与 H.264 的宏块组织相比,HEVC 通过更大的 CTU 和灵活的 CU、PU、TU 结构,让预测区域与残差处理更适应高分辨率画面的局部特征。代价是编码器需要在更多候选划分和模式之间进行取舍,而解码器只需依据码流中的划分与预测信息重建结果。