音频开发 / 系统课时
区分编码帧容器与时间基
区分编码帧容器与时间基
音频文件或网络流出问题时,最容易混淆的是“声音数据”和“封装数据”。本篇把原始样本、编码帧、容器包与时间基拆成四个层次,并用时间戳解释解复用后为什么还要按正确时序把数据送入解码器。
学习目标
- 区分 PCM 样本、编码帧与容器包各自承载的信息
- 理解 PTS、DTS 与时间基如何共同表达播放时刻
- 能描述从容器读取到解码输出 PCM 的基本链路
四个层次分别解决什么问题
PCM 样本是最接近声音波形的一层。它描述某个采样时刻各声道的数值,不负责压缩,也通常不携带“这一段数据应该在第几秒播放”的封装信息。
编码帧是编码器按自身规则组织的压缩单元,例如 AAC frame 或 Opus packet 中承载的编码数据。解码器关心的是这种编解码语义,而不是 MP4、Matroska 这类文件容器的目录结构。
容器包通常由解复用器读取。一个包除了负载数据,还可能带有流编号、PTS、DTS、持续时间等字段。它的职责是把多条音视频流放进统一时间线,并支持定位、交错存储和寻址。
时间基则是时间戳的单位。若某条音频流的时间基为 1/48000,PTS 为 96000,对应的展示时刻就是 秒。时间戳本身只是整数,只有和时间基结合才有实际时间意义。

时间基为什么不能忽略
容器中的不同流可以使用不同时间基。视频可能使用 1/90000,音频可能使用 1/48000,因此不能直接比较两个裸 PTS 数值。需要先按各自时间基换算到同一时间尺度,再判断先后关系或进行同步。
PTS 表示“应该何时展示或播放”,DTS 表示“应该何时送入解码”。带有重排序的视频经常需要区分两者;许多常见音频编码没有复杂的帧重排序,此时两者可能相同,但程序仍应遵循容器与解码 API 提供的时间戳语义,而不是自行假设。
从容器到解码器的正确顺序
读取媒体时,通常先由 demuxer 解析容器并得到包,再按 stream index 选择目标音频流。包中的压缩负载送给匹配的解码器,解码器输出 PCM frame;上层再依据时间戳完成播放排程、同步或重采样。
这里有两个边界要分清。第一,容器包不一定和解码器输出帧一一对应:一个包可能产生多个解码帧,也可能需要多个包才能凑出可输出数据。第二,解码后的 PCM frame 仍需要时间信息,不能只把样本“尽快播放”。
如果执行 seek,还要先让 demuxer 跳到合适的关键位置或时间附近,再清空解码器内部缓存,并从新的包序列继续解码。否则旧缓存中的数据可能在跳转后继续输出,造成时间线错乱。
用一条时间线检查理解
假设音频流时间基为 1/48000,某包的 PTS 为 144000,持续时间为 960。它从 3 秒开始,持续 秒。下一个连续包的起始 PTS 通常应接近 144960,但是否严格连续仍取决于容器、编码器延迟、缺包和编辑点。
因此,排查“声音提前、延后、跳跃或 seek 后错位”时,应沿着同一条链路检查:包属于哪条流、时间基是什么、PTS/DTS 是否有效、解码器是否被正确刷新,以及输出 PCM 是否沿用了正确的时间戳。只要这几个层次不混在一起,封装和时序问题就会清晰很多。