编码与格式 / 系统课时

区分裸流、容器文件与传输协议

区分裸流、容器文件与传输协议

拿到一份 PCM 数据、H.264 裸流、MP4 文件或直播地址时,怎样判断它们分别包含什么、能否直接播放,以及需要什么工具处理?本篇通过实际文件和 FFmpeg 命令,厘清编码数据、媒体封装与网络传输之间的关系,并学会验证媒体格式。

学习目标

  • 区分原始采样数据、编码裸流、媒体容器与传输协议的职责。
  • 根据文件类型判断解码、封装和播放需要哪些参数。
  • 使用 FFmpeg 与 ffprobe 验证裸流和 MP4 文件的实际结构。

从四种媒体数据认识不同层次

同样是声音或画面,保存方式不同,播放器需要掌握的信息也不同。

示例 所属层次 包含的信息 典型用途
PCM .pcm 原始采样数据 音频采样值,通常无自描述信息 录音、音频处理
H.264 .h264 压缩编码裸流 视频编码数据及部分解码参数 编码器输出、底层调试
MP4 .mp4 媒体容器文件 媒体轨道、时间信息、编码数据和元数据 文件播放、点播
RTSP 地址 网络会话与传输控制 媒体描述、播放控制及协商信息 摄像头实时预览

这里有两个容易混淆的地方。

第一,PCM 通常是未经压缩编码的音频采样数据。一个纯 PCM 文件一般不记录采样率、声道数和采样格式。即使数据完整,也需要额外参数才能正确解释。

第二,H.264 裸流已经压缩编码,但通常没有 MP4 这样的容器级轨道索引和完整时间信息。它可能包含 SPS、PPS 等参数集,却不能保证具有可靠的逐帧显示时间戳。

例如,一段 48 kHz、16 位、双声道的 PCM 音频,每秒数据量为:

48000×16×2÷8=192000 字节48000 \times 16 \times 2 \div 8 = 192000\ \text{字节}

即约 192 KB/s,连续 10 秒约 1.92 MB(不含文件头)。相同音频若使用 AAC 编码,可以按 128 kbit/s 等目标码率压缩,但具体大小取决于编码设置。

看懂编码、封装和网络传输的分工

以一场摄像头直播为例,画面首先被采集,编码器把原始画面压缩成 H.264 视频数据;随后系统根据传输方式组织数据、添加必要的时间信息,并发送给接收端。

音视频编码封装与网络传输分层示意图

三个环节分别解决不同问题。

  • 编码(Codec):决定如何表示和压缩音视频,例如 H.264、H.265、AAC、Opus。解码器必须理解对应编码格式。
  • 封装(Container):组织一个或多个媒体轨道,保存时间戳、编码描述和元数据。例如 MP4、Matroska(MKV)、MPEG-TS。
  • 传输(Transport):规定媒体如何在网络上传递或组织会话。例如 RTP 传送实时媒体数据,RTSP 提供实时媒体会话控制,HTTP 可以传送媒体文件或分片。

需要注意,网络传输不一定经过文件容器。RTSP 摄像头常见的媒体数据通过 RTP 承载,而 HLS 通常通过 HTTP 获取播放列表和媒体分片,分片可能使用 MPEG-TS 或 fMP4。

因此,不能把 H.264、MP4、RTSP 当成三种互相替代的视频格式。它们分别位于编码、封装和会话传输层次。

用 FFmpeg 验证裸流与 MP4 的区别

下面使用 FFmpeg 6.x 或 7.x。要求终端中能够运行 ffmpeg -version 和 ffprobe -version,并具有 testsrc2、libx264 编码器支持。示例生成不带音轨的测试视频,无需摄像头或额外素材。

先生成 3 秒、320×240、25 fps 的 H.264 Annex B 裸流:

bash
ffmpeg -hide_banner -loglevel error -f lavfi -i "testsrc2=size=320x240:rate=25" -t 3 -an -c:v libx264 -pix_fmt yuv420p -f h264 sample.h264

预期结果:当前目录生成 sample.h264,命令正常结束时没有错误输出。此文件只有视频编码裸流,不含 MP4 文件头和音轨。

再把裸流封装为 MP4:

bash
ffmpeg -hide_banner -loglevel error -r 25 -f h264 -i sample.h264 -c:v copy -movflags +faststart sample.mp4

预期结果:生成 sample.mp4。-c:v copy 表示复制视频编码数据,不重新编码;-r 25 位于输入文件前,给缺少可靠时间戳的测试裸流指定输入帧率;+faststart 把适合的 MP4 初始化元数据前移,方便普通 HTTP 渐进式播放。

检查容器及媒体流:

bash
ffprobe -v error -show_entries format=format_name,duration -show_entries stream=codec_type,codec_name,width,height,r_frame_rate -of json sample.mp4

预期输出(关键字段,省略其他输出;时长按本示例约为 3 秒):

json
{
  "streams": [
    {
      "codec_name": "h264",
      "codec_type": "video",
      "width": 320,
      "height": 240,
      "r_frame_rate": "25/1"
    }
  ],
  "format": {
    "format_name": "mov,mp4,m4a,3gp,3g2,mj2",
    "duration": "3.000000"
  }
}

实际字段顺序、格式列表及时间精度可能因 FFmpeg 版本和构建选项不同而变化。

这次操作只改变了封装方式:视频编码格式仍然是 H.264,分辨率仍然是 320×240。MP4 新增的是容器层的信息,而不是重新生成画面。

为什么 PCM 和 H.264 裸流经常需要额外参数

对于没有文件头的原始 PCM,仅凭 .pcm 扩展名无法判断数据应该如何播放。可以先人为生成一个已知格式的样本进行验证:

bash
ffmpeg -hide_banner -loglevel error -f lavfi -i "sine=frequency=1000:sample_rate=48000:duration=2" -ac 2 -c:a pcm_s16le -f s16le tone.pcm
ffmpeg -hide_banner -loglevel error -f s16le -ar 48000 -ac 2 -i tone.pcm -c:a pcm_s16le tone.wav

预期结果:生成 tone.pcm 和 tone.wav。前者是 48 kHz、16 位小端、双声道原始采样数据,大小约 384000 字节;后者在 PCM 数据外添加 WAV 文件头,用于保存采样格式等信息。

WAV 并不意味着音频一定经过有损压缩。WAV 是容器格式,完全可以保存未经压缩的 PCM。

H.264 裸流的问题不同。解码器通常可以通过码流里的 SPS、PPS 获取画面尺寸等信息,但文件不一定包含完整、可靠的播放时间信息。将裸流转为 MP4 时,需要特别检查帧率、时间戳和画面顺序。

如果 PCM 的采样率填错,声音会变快或变慢;声道数填错,可能出现杂音或数据解释错误。如果 H.264 缺少必要参数集,解码器可能无法正确识别图像。

根据播放场景选择处理方式

实际开发时,可以先判断媒体数据来自文件还是网络,再决定需要解封装、协议处理还是直接解码。

遇到的内容 优先检查 常见处理方式
.pcm 原始音频 采样格式、采样率、声道数 按已知参数读取或封装为 WAV
.h264 视频裸流 编码格式、参数集、帧率和时间信息 使用 H.264 解码器,必要时补充时间信息并封装
.mp4 媒体文件 轨道、编码格式、时间戳 解封装后交给对应解码器
rtsp:// 摄像头地址 会话协商、RTP 数据、网络连接 建立 RTSP 会话并接收媒体包
HLS .m3u8 播放列表 分片地址、编码格式、分片封装 解析播放列表,通过 HTTP 获取并处理媒体分片

例如,播放器能够打开 MP4,不代表它一定支持 MP4 文件中所有的编码格式。容器识别成功后,仍需要检查设备是否支持对应视频和音频解码器。

判断某份媒体能否播放时,依次确认三件事:能否获取数据、能否正确识别封装或媒体包、能否解码其中的音视频。按照这三个层次排查,比单纯修改文件扩展名更容易找到真正的问题。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

区分裸流、容器文件与传输协议

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通