AI 内容创作 / 系统课时
音频与视频编码
音频与视频编码
本课建立数字人视频交付所需的编码心智模型,并用 FFmpeg 生成一段可验证的 H.264、AAC、MP4 文件。你将理解编码器、码率、关键帧、像素格式和封装格式如何共同影响体积、清晰度、延迟与播放兼容性。
学习目标
- 区分编码格式、编码器、像素格式与封装格式的职责。
- 为常见网页和移动端播放场景选择兼容性基线参数。
- 使用 FFmpeg 完成编码,并通过
ffprobe验证实际输出。
编码链路与关键参数
原始视频帧和 PCM 音频体积很大,必须经过压缩才能传输与存储。视频编码器负责利用帧内与帧间冗余,音频编码器负责压缩采样数据,封装器再把多个轨道、时间戳和元数据组织到同一个文件中。MP4 是封装格式,不等同于 H.264;同一个 MP4 内也可能装入不同编码的音视频轨道。

视频质量通常用恒定质量或目标码率控制。以 libx264 为例,-crf 数值越低,质量通常越高、文件越大;目标码率更适合带宽预算明确的直播或分发系统。关键帧间隔决定随机跳转、分片切换和错误恢复能力,但关键帧过密会降低压缩效率。
| 参数 | 示例 | 作用 |
|---|---|---|
| 视频编码器 | libx264 |
生成 H.264 视频码流 |
| 质量控制 | -crf 23 |
在质量与体积之间取平衡 |
| 关键帧间隔 | -g 60 |
30 fps 下最大 GOP 约 2 秒,场景检测可提前插入关键帧 |
| 像素格式 | yuv420p |
提高常见浏览器和移动端兼容性 |
| 音频编码器 | aac |
生成 AAC 音频码流 |
| 音频采样率 | 48000 |
与常见视频制作链路保持一致 |
| 封装格式 | MP4 | 保存视频、音频、时间戳和元数据 |
兼容性基线与取舍
面向常见网页、移动端和办公播放器时,可优先采用 H.264、AAC-LC、MP4、yuv420p、逐行扫描和 48 kHz 音频。这个组合兼容范围较广,但不代表所有旧设备都支持任意分辨率、帧率和 Profile,最终仍要在目标设备与目标平台上验证。
关键帧间隔可按秒换算:GOP = 帧率 × 关键帧秒数。例如 30 fps 视频希望每 2 秒一个关键帧,可设置 -g 60。流式分片通常要求关键帧与分片边界接近;本地存档则可以适当拉长 GOP 以提高压缩效率。
对这里的普通非分片 MP4,-movflags +faststart 会把 moov 盒移动到媒体数据前部,使网络播放器不必等文件全部下载完再开始播放。像素格式若误用 yuv444p 或高位深格式,部分播放器可能只有声音没有画面,因此兼容性优先的交付文件应显式指定 yuv420p。
完整可运行示例
下面的 Bash 脚本无需外部素材。它使用 FFmpeg 的测试源生成 5 秒视频和正弦波音频,再编码为 H.264、AAC、MP4,并用 ffprobe 读取关键属性。运行前需要安装包含 libx264 编码器的 FFmpeg。
#!/usr/bin/env bash
set -euo pipefail
if ! command -v ffmpeg >/dev/null 2>&1; then
echo "未找到 ffmpeg"
exit 1
fi
if ! command -v ffprobe >/dev/null 2>&1; then
echo "未找到 ffprobe"
exit 1
fi
encoders="$(ffmpeg -hide_banner -encoders 2>/dev/null)"
if ! grep -Eq "[[:space:]]libx264[[:space:]]" <<< "$encoders"; then
echo "当前 FFmpeg 未启用 libx264"
exit 1
fi
output_file="output-compatible.mp4"
# 生成固定时长的测试画面和音频,避免依赖外部文件。
ffmpeg -hide_banner -loglevel error \
-f lavfi -i "testsrc2=size=1280x720:rate=30:duration=5" \
-f lavfi -i "sine=frequency=440:sample_rate=48000:duration=5" \
-map 0:v:0 -map 1:a:0 \
-c:v libx264 \
-preset medium \
-crf 23 \
-pix_fmt yuv420p \
-g 60 \
-sc_threshold 0 \
-c:a aac -profile:a aac_low \
-b:a 128k \
-ar 48000 \
-ac 2 \
-movflags +faststart \
-shortest \
-y "$output_file"
# 分别读取字段,保证验证输出顺序稳定。
video_codec="$(ffprobe -v error -select_streams v:0 -show_entries stream=codec_name -of default=nw=1:nk=1 "$output_file")"
pixel_format="$(ffprobe -v error -select_streams v:0 -show_entries stream=pix_fmt -of default=nw=1:nk=1 "$output_file")"
frame_rate="$(ffprobe -v error -select_streams v:0 -show_entries stream=avg_frame_rate -of default=nw=1:nk=1 "$output_file")"
audio_codec="$(ffprobe -v error -select_streams a:0 -show_entries stream=codec_name -of default=nw=1:nk=1 "$output_file")"
sample_rate="$(ffprobe -v error -select_streams a:0 -show_entries stream=sample_rate -of default=nw=1:nk=1 "$output_file")"
channels="$(ffprobe -v error -select_streams a:0 -show_entries stream=channels -of default=nw=1:nk=1 "$output_file")"
printf "video_codec=%s\n" "$video_codec"
printf "pixel_format=%s\n" "$pixel_format"
printf "frame_rate=%s\n" "$frame_rate"
printf "audio_codec=%s\n" "$audio_codec"
printf "sample_rate=%s\n" "$sample_rate"
printf "channels=%s\n" "$channels"将脚本保存为 encode_demo.sh,然后运行:
chmod +x encode_demo.sh
./encode_demo.sh预期输出:
video_codec=h264
pixel_format=yuv420p
frame_rate=30/1
audio_codec=aac
sample_rate=48000
channels=2脚本会在当前目录生成或覆盖 output-compatible.mp4,请在临时目录运行。-sc_threshold 0 用于保持固定 GOP,便于演示关键帧规律;真实点播文件可以保留场景切换关键帧,以获得更自然的压缩效率。
验证与常见错误
编码完成后,不要只看文件扩展名。应检查视频编码、像素格式、帧率、音频编码、采样率、声道数和时长,还要在实际播放器中测试首帧、拖动、音画同步与硬件解码。平台若提供转码报告,应以平台最终接收结果为准。
- 把 MP4 当成编码器:MP4 只负责封装。真正决定压缩方式的是 H.264、H.265、AV1、AAC 等编码格式及其编码器实现。
- 只追求低码率:码率过低会让数字人面部、头发和字幕边缘出现块效应。应结合分辨率、帧率和画面复杂度评估,而不是套用单一数值。
- 未指定像素格式:编码器可能输出播放端不支持的格式。兼容性优先时显式使用
-pix_fmt yuv420p。 - 关键帧间隔与分片不匹配:拖动或自适应切换会变慢。应按实际分片边界强制适当的随机访问点,确认 GOP 可独立解码,并检查各档码率的关键帧时间是否对齐。
- 忽略音频参数:采样率或声道布局异常会触发二次转码。面向视频平台时,48 kHz、双声道 AAC 是常见基线。
本课总结
- 编码格式、编码器实现、像素格式和封装格式分别解决不同问题,不能混为一谈。
- H.264、AAC、MP4 与
yuv420p可作为常见交付基线,但仍需目标端验证。 ffprobe能确认实际码流属性,避免仅凭命令参数或文件扩展名判断结果。
下一课预告
下一阶段将把字幕、音频、视频和封装串成完整媒体合成链路,并继续关注音画同步、实时延迟、分片策略与播放端验收。