编码与格式 / 系统课时

识别 H.264 宏块与 NAL 结构

识别 H.264 宏块与 NAL 结构

拿到一段 H.264 码流,首先要分清编码图像使用的宏块、预测方式,以及承载数据的 NAL 单元。本篇通过结构示意、十六进制样例和一个可运行的解析脚本,识别 SPS、PPS、切片与 IDR 图像,建立从码流边界到图像恢复的阅读路径。

学习目标

  • 区分 16×16 宏块、帧内预测、帧间预测及残差编码的职责。
  • 识别 NAL 单元头部,理解 SPS、PPS、切片与 IDR 的关系。
  • 使用 Python 检查 Annex B 码流中的 NAL 类型,并判断常见解析错误。

从宏块理解图像编码

H.264/AVC 以宏块(Macroblock)作为基本编码处理单元。对常见的 4:2:0 视频,一个宏块覆盖 16×16 个亮度采样及对应的色度采样。图像通常按宏块处理,但比特流使用切片组织宏块数据,不能把宏块直接等同于 NAL 单元。

宏块可以选择帧内预测或帧间预测,并将原始数据与预测结果之间的差值编码为残差。编码器通常对残差执行整数变换、量化和熵编码;解码器则通过反量化、反变换及预测值相加恢复图像样本。

工具 作用 典型划分
帧内预测 利用当前图像已重建的邻近样本预测 Intra 4×4、Intra 16×16;部分档次支持 Intra 8×8
帧间预测 通过运动矢量引用参考图像 16×16、16×8、8×16、8×8 等
残差变换与量化 压缩预测未消除的信息 常见 4×4 变换;部分档次支持 8×8
熵编码 将语法元素编码为比特 CAVLC;CABAC 取决于档次与配置

例如一个 1920×1080 的视频图像,以 16×16 宏块网格组织时,水平方向有 120 个宏块,垂直方向需要向上取整为 68 行,共 8160 个宏块位置。编码时需处理边界填充及实际图像裁剪信息,不能据此认为显示高度变成了 1088。

H.264 宏块与预测关系示意

需要注意,I、P、B 是切片类型分类,而不是每个宏块都必须使用对应预测模式。P 切片和 B 切片也可以包含帧内编码宏块。判断具体宏块的预测类型,应读取切片数据中的宏块语法,而不能只看切片名称。

识别 NAL 单元与字节边界

H.264 的网络抽象层使用 NAL(Network Abstraction Layer)单元封装编码数据。NAL 头部后面通常是 RBSP(Raw Byte Sequence Payload)对应的字节序列,并可能包含用于防止伪起始码的防竞争字节。

每个常规 H.264 NAL 单元的第一个字节由三个字段组成:

字段 位数 含义
forbidden_zero_bit 1 必须为 0
nal_ref_idc 2 表示参考相关的重要程度;0 表示不用于参考图像重建
nal_unit_type 5 标识 NAL 类型

以头字节 0x67 为例,其二进制为 01100111:最高位为 0,接下来的两位为 11,最后五位为 00111,因此 nal_ref_idc=3、nal_unit_type=7,这是 SPS 类型。

常见 NAL 类型如下:

类型值 名称 主要用途
1 非 IDR 切片 承载非 IDR 图像的切片数据
5 IDR 切片 承载 IDR 图像的切片数据
6 SEI 承载补充增强信息
7 SPS 序列参数集
8 PPS 图像参数集
9 AUD 可选的访问单元分隔符

在 Annex B 字节流格式中,NAL 之间使用 00 00 01 或 00 00 00 01 起始码分隔。起始码是字节流封装信息,不属于 NAL 头部。MP4 等容器通常采用长度前缀存储 NAL 单元,不能直接按照 Annex B 起始码查找。

还要区分防竞争字节 03:例如编码数据需要表示 00 00 01 这样的字节模式时,NAL 字节序列中可能写入 00 00 03 01。解析 RBSP 时应按规范去除防竞争字节,而不是简单删除所有值为 03 的字节。

SPS、PPS 和切片怎样配合

解码器不能只读取切片压缩数据就直接恢复图像,还需要先建立参数上下文。

  • SPS(Sequence Parameter Set)提供序列级参数,例如档次、级别、图像尺寸相关语法、参考图像及图像顺序计数相关配置。
  • PPS(Picture Parameter Set)提供图像级解码参数,例如熵编码模式、初始量化参数及部分切片组织配置。
  • 切片头包含引用的 PPS 标识,PPS 再通过标识引用 SPS;切片数据携带宏块相关的预测、运动与残差信息。

H.264 参数集到图像重建的数据依赖

实际解析可以遵循以下顺序:

  1. 根据 Annex B 起始码或容器中的长度字段取出完整 NAL。
  2. 读取 NAL 头字节,确定类型并检查禁止位。
  3. 遇到 SPS、PPS 时解析并保存参数集,按照标识建立引用关系。
  4. 遇到 VCL 切片时先读取切片头,定位已激活的 PPS、SPS,再解析切片数据。
  5. 使用预测、反量化、反变换、环路去块滤波等解码工具重建图像,并根据图像顺序相关信息管理输出。

IDR 是即时解码刷新图像,通常用于建立不依赖刷新点之前参考图像的解码入口;但不是所有 I 切片都属于 IDR。一个图像也可能由多个切片组成,所以不能简单按 NAL 数量统计视频帧数。

使用 Python 检查 NAL 类型

下面的示例使用 Python 3 标准库,扫描一段人为构造的 Annex B 字节序列,提取 NAL 头部信息。样例只用于验证 NAL 分类,不包含完整可解码的 SPS、PPS 和切片负载。

python
# Python 3:演示 Annex B 起始码与 NAL 头部识别
stream = bytes.fromhex(
    '00 00 00 01 67 42 00 1e '
    '00 00 01 68 ce 06 e2 '
    '00 00 01 65 88'
)

names = {1: 'Non-IDR', 5: 'IDR', 6: 'SEI', 7: 'SPS', 8: 'PPS', 9: 'AUD'}

def find_start_codes(data):
    positions = []
    i = 0
    while i < len(data) - 2:
        if data[i:i + 4] == b'\x00\x00\x00\x01':
            positions.append((i, 4))
            i += 4
        elif data[i:i + 3] == b'\x00\x00\x01':
            positions.append((i, 3))
            i += 3
        else:
            i += 1
    return positions

starts = find_start_codes(stream)
for index, (position, prefix_size) in enumerate(starts):
    begin = position + prefix_size
    end = starts[index + 1][0] if index + 1 < len(starts) else len(stream)
    nal = stream[begin:end]
    if not nal:
        continue
    header = nal[0]
    forbidden = header >> 7
    ref_idc = (header >> 5) & 0x03
    nal_type = header & 0x1F
    print(f'{index + 1}: {names.get(nal_type, "Other")} '
          f'type={nal_type} ref_idc={ref_idc} forbidden={forbidden}')

预期输出:

text
1: SPS type=7 ref_idc=3 forbidden=0
2: PPS type=8 ref_idc=3 forbidden=0
3: IDR type=5 ref_idc=3 forbidden=0

这段程序只扫描起始码和解析头字节,没有实现完整的 H.264 语法解析、RBSP 还原或视频解码。用于真实码流时,还需要处理 NAL 边界的尾随零字节、合法负载长度及容器封装差异。若数据来自 MP4,应先识别其 NAL 长度前缀格式,不能直接套用该扫描逻辑。

检查码流时容易误判的地方

阅读 H.264 码流时,可以用下表快速定位常见误判。

观察现象 容易产生的误判 正确检查方式
出现 0x65 这是完整关键帧 只能确认该 NAL 为 IDR 切片;还需检查完整访问单元
连续出现多个类型 1 NAL 一定有多帧图像 可能是同一图像的多个切片,需解析切片头
找不到 SPS、PPS 码流必定损坏 先检查容器是否在 AVC 配置记录中保存参数集
找到 00 00 03 01 发现新的 NAL 起始码 这是可能含防竞争字节的负载内容,不能据此切分
出现 I 切片 可以无条件随机访问 需进一步判断是否为 IDR 或其他满足随机访问条件的结构

进行一次实际验证时,先列出全部 NAL 的类型和顺序,再定位 SPS、PPS 与切片头之间的引用关系,最后才分析宏块预测模式和残差内容。能正确区分字节流边界、参数集依赖以及图像内部编码工具,就具备了继续阅读 H.264 码流的基础。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

识别 H.264 宏块与 NAL 结构

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通