编码与格式 / 系统课时
区分裸流、容器文件与传输协议
区分裸流、容器文件与传输协议
拿到一份 PCM 数据、H.264 裸流、MP4 文件或直播地址时,怎样判断它们分别包含什么、能否直接播放,以及需要什么工具处理?本篇通过实际文件和 FFmpeg 命令,厘清编码数据、媒体封装与网络传输之间的关系,并学会验证媒体格式。
学习目标
- 区分原始采样数据、编码裸流、媒体容器与传输协议的职责。
- 根据文件类型判断解码、封装和播放需要哪些参数。
- 使用 FFmpeg 与 ffprobe 验证裸流和 MP4 文件的实际结构。
从四种媒体数据认识不同层次
同样是声音或画面,保存方式不同,播放器需要掌握的信息也不同。
| 示例 | 所属层次 | 包含的信息 | 典型用途 |
|---|---|---|---|
PCM .pcm |
原始采样数据 | 音频采样值,通常无自描述信息 | 录音、音频处理 |
H.264 .h264 |
压缩编码裸流 | 视频编码数据及部分解码参数 | 编码器输出、底层调试 |
MP4 .mp4 |
媒体容器文件 | 媒体轨道、时间信息、编码数据和元数据 | 文件播放、点播 |
| RTSP 地址 | 网络会话与传输控制 | 媒体描述、播放控制及协商信息 | 摄像头实时预览 |
这里有两个容易混淆的地方。
第一,PCM 通常是未经压缩编码的音频采样数据。一个纯 PCM 文件一般不记录采样率、声道数和采样格式。即使数据完整,也需要额外参数才能正确解释。
第二,H.264 裸流已经压缩编码,但通常没有 MP4 这样的容器级轨道索引和完整时间信息。它可能包含 SPS、PPS 等参数集,却不能保证具有可靠的逐帧显示时间戳。
例如,一段 48 kHz、16 位、双声道的 PCM 音频,每秒数据量为:
即约 192 KB/s,连续 10 秒约 1.92 MB(不含文件头)。相同音频若使用 AAC 编码,可以按 128 kbit/s 等目标码率压缩,但具体大小取决于编码设置。
看懂编码、封装和网络传输的分工
以一场摄像头直播为例,画面首先被采集,编码器把原始画面压缩成 H.264 视频数据;随后系统根据传输方式组织数据、添加必要的时间信息,并发送给接收端。

三个环节分别解决不同问题。
- 编码(Codec):决定如何表示和压缩音视频,例如 H.264、H.265、AAC、Opus。解码器必须理解对应编码格式。
- 封装(Container):组织一个或多个媒体轨道,保存时间戳、编码描述和元数据。例如 MP4、Matroska(MKV)、MPEG-TS。
- 传输(Transport):规定媒体如何在网络上传递或组织会话。例如 RTP 传送实时媒体数据,RTSP 提供实时媒体会话控制,HTTP 可以传送媒体文件或分片。
需要注意,网络传输不一定经过文件容器。RTSP 摄像头常见的媒体数据通过 RTP 承载,而 HLS 通常通过 HTTP 获取播放列表和媒体分片,分片可能使用 MPEG-TS 或 fMP4。
因此,不能把 H.264、MP4、RTSP 当成三种互相替代的视频格式。它们分别位于编码、封装和会话传输层次。
用 FFmpeg 验证裸流与 MP4 的区别
下面使用 FFmpeg 6.x 或 7.x。要求终端中能够运行 ffmpeg -version 和 ffprobe -version,并具有 testsrc2、libx264 编码器支持。示例生成不带音轨的测试视频,无需摄像头或额外素材。
先生成 3 秒、320×240、25 fps 的 H.264 Annex B 裸流:
ffmpeg -hide_banner -loglevel error -f lavfi -i "testsrc2=size=320x240:rate=25" -t 3 -an -c:v libx264 -pix_fmt yuv420p -f h264 sample.h264预期结果:当前目录生成 sample.h264,命令正常结束时没有错误输出。此文件只有视频编码裸流,不含 MP4 文件头和音轨。
再把裸流封装为 MP4:
ffmpeg -hide_banner -loglevel error -r 25 -f h264 -i sample.h264 -c:v copy -movflags +faststart sample.mp4预期结果:生成 sample.mp4。-c:v copy 表示复制视频编码数据,不重新编码;-r 25 位于输入文件前,给缺少可靠时间戳的测试裸流指定输入帧率;+faststart 把适合的 MP4 初始化元数据前移,方便普通 HTTP 渐进式播放。
检查容器及媒体流:
ffprobe -v error -show_entries format=format_name,duration -show_entries stream=codec_type,codec_name,width,height,r_frame_rate -of json sample.mp4预期输出(关键字段,省略其他输出;时长按本示例约为 3 秒):
{
"streams": [
{
"codec_name": "h264",
"codec_type": "video",
"width": 320,
"height": 240,
"r_frame_rate": "25/1"
}
],
"format": {
"format_name": "mov,mp4,m4a,3gp,3g2,mj2",
"duration": "3.000000"
}
}实际字段顺序、格式列表及时间精度可能因 FFmpeg 版本和构建选项不同而变化。
这次操作只改变了封装方式:视频编码格式仍然是 H.264,分辨率仍然是 320×240。MP4 新增的是容器层的信息,而不是重新生成画面。
为什么 PCM 和 H.264 裸流经常需要额外参数
对于没有文件头的原始 PCM,仅凭 .pcm 扩展名无法判断数据应该如何播放。可以先人为生成一个已知格式的样本进行验证:
ffmpeg -hide_banner -loglevel error -f lavfi -i "sine=frequency=1000:sample_rate=48000:duration=2" -ac 2 -c:a pcm_s16le -f s16le tone.pcm
ffmpeg -hide_banner -loglevel error -f s16le -ar 48000 -ac 2 -i tone.pcm -c:a pcm_s16le tone.wav预期结果:生成 tone.pcm 和 tone.wav。前者是 48 kHz、16 位小端、双声道原始采样数据,大小约 384000 字节;后者在 PCM 数据外添加 WAV 文件头,用于保存采样格式等信息。
WAV 并不意味着音频一定经过有损压缩。WAV 是容器格式,完全可以保存未经压缩的 PCM。
H.264 裸流的问题不同。解码器通常可以通过码流里的 SPS、PPS 获取画面尺寸等信息,但文件不一定包含完整、可靠的播放时间信息。将裸流转为 MP4 时,需要特别检查帧率、时间戳和画面顺序。
如果 PCM 的采样率填错,声音会变快或变慢;声道数填错,可能出现杂音或数据解释错误。如果 H.264 缺少必要参数集,解码器可能无法正确识别图像。
根据播放场景选择处理方式
实际开发时,可以先判断媒体数据来自文件还是网络,再决定需要解封装、协议处理还是直接解码。
| 遇到的内容 | 优先检查 | 常见处理方式 |
|---|---|---|
.pcm 原始音频 |
采样格式、采样率、声道数 | 按已知参数读取或封装为 WAV |
.h264 视频裸流 |
编码格式、参数集、帧率和时间信息 | 使用 H.264 解码器,必要时补充时间信息并封装 |
.mp4 媒体文件 |
轨道、编码格式、时间戳 | 解封装后交给对应解码器 |
rtsp:// 摄像头地址 |
会话协商、RTP 数据、网络连接 | 建立 RTSP 会话并接收媒体包 |
HLS .m3u8 播放列表 |
分片地址、编码格式、分片封装 | 解析播放列表,通过 HTTP 获取并处理媒体分片 |
例如,播放器能够打开 MP4,不代表它一定支持 MP4 文件中所有的编码格式。容器识别成功后,仍需要检查设备是否支持对应视频和音频解码器。
判断某份媒体能否播放时,依次确认三件事:能否获取数据、能否正确识别封装或媒体包、能否解码其中的音视频。按照这三个层次排查,比单纯修改文件扩展名更容易找到真正的问题。