AI 内容创作 / 系统课时
FFmpeg 音视频处理入门
FFmpeg 音视频处理入门
数字人素材常来自不同设备,编码、分辨率、帧率和音频参数往往不一致。本课使用 FFmpeg 与 FFprobe 建立一条可重复的处理链:先读取媒体信息,再完成容器转换、音轨提取、画面缩放和帧率统一,并用脚本验证最终结果。
学习目标
- 区分 FFmpeg 处理命令与 FFprobe 信息探测的职责
- 掌握格式转换、音轨提取、分辨率调整和帧率转换的关键参数
- 编写可重复执行并能自动验证输出的媒体处理脚本
工具分工与处理链路
FFprobe 负责读取容器、流、编码和时长等元数据,不会修改文件;FFmpeg 负责解封装、解码、滤镜处理、编码和重新封装。数字人数据处理中,应先探测输入,再明确是否需要转码,最后对输出再次探测,避免只凭文件扩展名判断媒体是否合格。

处理命令的基本判断顺序是:先确认目标容器是否支持所选编码,再决定使用流复制还是重新编码,最后按模型或播放端要求统一音视频参数。流复制保留压缩数据,通常更快,也不会产生再次编码的损失。它不能重新采样或改变图像尺寸;容器转换仍可能调整时间戳、元数据或封装表示。
核心参数与基础操作
| 目标 | 关键参数 | 作用与边界 |
|---|---|---|
| 查看媒体信息 | ffprobe -show_entries |
精确选择要输出的容器和流字段,适合脚本解析 |
| 容器或编码转换 | -c:v、-c:a |
指定视频和音频编码器;设置为 copy 时不重新编码 |
| 提取音轨 | -vn、-ac、-ar |
去除视频并统一声道数、采样率 |
| 调整分辨率 | -vf scale=宽:高 |
通过视频滤镜缩放;应避免破坏宽高比 |
| 转换帧率 | -vf fps=目标帧率 |
按目标节奏丢弃或补充帧,不等于运动补帧 |
当一次处理同时需要缩放与改帧率时,可在同一个 -vf 中串联滤镜,例如 scale=640:360,fps=25。如果只改变封装格式且输入编码与目标容器兼容,可使用 -c copy;若要修改画面尺寸、帧率或音频采样率,则必须经过解码和重新编码。
完整可运行示例
示例用 Python 3.11 标准库、FFmpeg 8.0.1 与对应 FFprobe,所需编码器为 FFV1、MPEG-4 Part 2、AAC 和 PCM。保存为 ffmpeg_media_demo.py,运行 python ffmpeg_media_demo.py。三种输出都读取同一源文件,提取音轨不会绕经有损 AAC。每次运行在当前目录创建独立目录。
import json
import subprocess
from fractions import Fraction
from pathlib import Path
from tempfile import mkdtemp
def run(args, capture=False):
return subprocess.run(args, check=True, text=True, capture_output=capture).stdout
def encode(*args):
run(["ffmpeg", "-hide_banner", "-loglevel", "error", "-nostdin", "-n", *args])
def probe(path, entries, *flags):
return json.loads(run([
"ffprobe", "-v", "error", *flags, "-show_entries", entries,
"-of", "json", str(path),
], capture=True))
def verify(video_path, audio_path):
output = probe(
video_path,
"format=duration:stream=codec_type,codec_name,width,height,time_base,sample_rate,channels",
)
video = next(row for row in output["streams"] if row["codec_type"] == "video")
audio = next(row for row in output["streams"] if row["codec_type"] == "audio")
if (video["codec_name"], video["width"], video["height"]) != ("mpeg4", 640, 360):
raise ValueError("unexpected video format")
if (audio["codec_name"], audio["sample_rate"], audio["channels"]) != ("aac", "48000", 1):
raise ValueError("unexpected muxed audio")
frames = probe(
video_path, "frame=best_effort_timestamp", "-select_streams", "v:0", "-show_frames",
)["frames"]
times = [int(frame["best_effort_timestamp"]) * Fraction(video["time_base"]) for frame in frames]
if len(times) != 50 or any(b - a != Fraction(1, 25) for a, b in zip(times, times[1:])):
raise ValueError("unexpected frame count or spacing")
duration = float(output["format"]["duration"])
if not 1.95 <= duration <= 2.05:
raise ValueError("unexpected container duration")
voice, = probe(audio_path, "stream=codec_name,sample_rate,channels", "-select_streams", "a:0")["streams"]
if (voice["codec_name"], voice["sample_rate"], voice["channels"]) != ("pcm_s16le", "16000", 1):
raise ValueError("unexpected extracted audio")
print("视频: mpeg4 640x360, 50 帧, 40 ms 间隔")
print("封装音频: aac 48000 Hz 单声道")
print("提取音轨: pcm_s16le 16000 Hz 单声道")
def main():
folder = Path(Path(mkdtemp(prefix="media-demo-", dir=".")).name)
source, converted, voice, output = [str(folder / name) for name in (
"source.mkv", "converted.mp4", "voice.wav", "normalized.mp4",
)]
encode(
"-f", "lavfi", "-i", "testsrc2=size=1280x720:rate=30",
"-f", "lavfi", "-i", "sine=frequency=440:sample_rate=48000",
"-map", "0:v:0", "-map", "1:a:0", "-t", "2",
"-c:v", "ffv1", "-c:a", "pcm_s16le", source,
)
summary = probe(source, "stream=codec_name,codec_type")
if [row["codec_name"] for row in summary["streams"]] != ["ffv1", "pcm_s16le"]:
raise ValueError("unexpected source streams")
encode("-i", source, "-map", "0:v:0", "-map", "0:a:0", "-c:v", "mpeg4", "-q:v", "5", "-c:a", "aac", converted)
encode("-i", source, "-map", "0:a:0", "-ac", "1", "-ar", "16000", "-c:a", "pcm_s16le", voice)
vf = (
"scale=640:360:force_original_aspect_ratio=decrease:force_divisible_by=2:reset_sar=1,"
"pad=640:360:(ow-iw)/2:(oh-ih)/2,fps=25"
)
encode(
"-i", source, "-map", "0:v:0", "-map", "0:a:0", "-vf", vf,
"-c:v", "mpeg4", "-q:v", "5", "-c:a", "aac", output,
)
verify(output, voice)
print("生成源文件、转码文件、独立音轨和标准化视频")
if __name__ == "__main__":
main()预期输出
视频: mpeg4 640x360, 50 帧, 40 ms 间隔
封装音频: aac 48000 Hz 单声道
提取音轨: pcm_s16le 16000 Hz 单声道
生成源文件、转码文件、独立音轨和标准化视频缩放保持显示宽高比,必要时补边。reset_sar=1 需本机 scale 滤镜支持,可通过 ffmpeg -h filter=scale 核对。帧率滤镜按时间戳丢帧或重复帧,输出实际间隔由 FFprobe 检查。真实项目有多个音轨时,先按语言、用途和流索引选择。此处明示选取第一视频流与第一音频流。
排错与练习
常见失败首先来自编码器不可用、目标容器不兼容或滤镜参数错误。若命令提示 Unknown encoder,应检查当前 FFmpeg 构建支持的编码器并改用可用编码;若目标文件已存在,优先用独立输出路径,并按任务确认是否可以覆盖。若输出画面变形,应使用保持宽高比的缩放表达式,并在需要时补边。
练习一:把脚本的目标分辨率改为 960x540、帧率改为 24,并让摘要输出对应参数。验收条件是 FFprobe 返回 960x540 与 24/1。
练习二:新增一个仅改变封装格式的流复制步骤,并比较它与重新编码步骤的耗时和文件大小。验收条件是说明哪些参数可通过流复制保留,哪些参数必须重新编码才能改变。
本课总结
- FFprobe 用于读取和验证媒体元数据,FFmpeg 用于实际处理媒体流
- 流复制适合只改封装,通过滤镜缩放、转换帧率或重采样需要重新编码
- 可重复的媒体处理流程应包含输入探测、处理执行和输出复核三个阶段
下一课预告
下一课将学习《媒体数据质量检查》,把削波、噪声、静音、模糊、丢帧和人脸遮挡风险转换为可量化指标,并生成统一的质量报告。