AI 内容创作 / 系统课时

FFmpeg 音视频处理入门

FFmpeg 音视频处理入门

数字人素材常来自不同设备,编码、分辨率、帧率和音频参数往往不一致。本课使用 FFmpeg 与 FFprobe 建立一条可重复的处理链:先读取媒体信息,再完成容器转换、音轨提取、画面缩放和帧率统一,并用脚本验证最终结果。

学习目标

  • 区分 FFmpeg 处理命令与 FFprobe 信息探测的职责
  • 掌握格式转换、音轨提取、分辨率调整和帧率转换的关键参数
  • 编写可重复执行并能自动验证输出的媒体处理脚本

工具分工与处理链路

FFprobe 负责读取容器、流、编码和时长等元数据,不会修改文件;FFmpeg 负责解封装、解码、滤镜处理、编码和重新封装。数字人数据处理中,应先探测输入,再明确是否需要转码,最后对输出再次探测,避免只凭文件扩展名判断媒体是否合格。

FFmpeg 音视频处理链路

处理命令的基本判断顺序是:先确认目标容器是否支持所选编码,再决定使用流复制还是重新编码,最后按模型或播放端要求统一音视频参数。流复制保留压缩数据,通常更快,也不会产生再次编码的损失。它不能重新采样或改变图像尺寸;容器转换仍可能调整时间戳、元数据或封装表示。

核心参数与基础操作

目标 关键参数 作用与边界
查看媒体信息 ffprobe -show_entries 精确选择要输出的容器和流字段,适合脚本解析
容器或编码转换 -c:v、-c:a 指定视频和音频编码器;设置为 copy 时不重新编码
提取音轨 -vn、-ac、-ar 去除视频并统一声道数、采样率
调整分辨率 -vf scale=宽:高 通过视频滤镜缩放;应避免破坏宽高比
转换帧率 -vf fps=目标帧率 按目标节奏丢弃或补充帧,不等于运动补帧

当一次处理同时需要缩放与改帧率时,可在同一个 -vf 中串联滤镜,例如 scale=640:360,fps=25。如果只改变封装格式且输入编码与目标容器兼容,可使用 -c copy;若要修改画面尺寸、帧率或音频采样率,则必须经过解码和重新编码。

完整可运行示例

示例用 Python 3.11 标准库、FFmpeg 8.0.1 与对应 FFprobe,所需编码器为 FFV1、MPEG-4 Part 2、AAC 和 PCM。保存为 ffmpeg_media_demo.py,运行 python ffmpeg_media_demo.py。三种输出都读取同一源文件,提取音轨不会绕经有损 AAC。每次运行在当前目录创建独立目录。

python
import json
import subprocess
from fractions import Fraction
from pathlib import Path
from tempfile import mkdtemp


def run(args, capture=False):
    return subprocess.run(args, check=True, text=True, capture_output=capture).stdout


def encode(*args):
    run(["ffmpeg", "-hide_banner", "-loglevel", "error", "-nostdin", "-n", *args])


def probe(path, entries, *flags):
    return json.loads(run([
        "ffprobe", "-v", "error", *flags, "-show_entries", entries,
        "-of", "json", str(path),
    ], capture=True))


def verify(video_path, audio_path):
    output = probe(
        video_path,
        "format=duration:stream=codec_type,codec_name,width,height,time_base,sample_rate,channels",
    )
    video = next(row for row in output["streams"] if row["codec_type"] == "video")
    audio = next(row for row in output["streams"] if row["codec_type"] == "audio")
    if (video["codec_name"], video["width"], video["height"]) != ("mpeg4", 640, 360):
        raise ValueError("unexpected video format")
    if (audio["codec_name"], audio["sample_rate"], audio["channels"]) != ("aac", "48000", 1):
        raise ValueError("unexpected muxed audio")
    frames = probe(
        video_path, "frame=best_effort_timestamp", "-select_streams", "v:0", "-show_frames",
    )["frames"]
    times = [int(frame["best_effort_timestamp"]) * Fraction(video["time_base"]) for frame in frames]
    if len(times) != 50 or any(b - a != Fraction(1, 25) for a, b in zip(times, times[1:])):
        raise ValueError("unexpected frame count or spacing")
    duration = float(output["format"]["duration"])
    if not 1.95 <= duration <= 2.05:
        raise ValueError("unexpected container duration")
    voice, = probe(audio_path, "stream=codec_name,sample_rate,channels", "-select_streams", "a:0")["streams"]
    if (voice["codec_name"], voice["sample_rate"], voice["channels"]) != ("pcm_s16le", "16000", 1):
        raise ValueError("unexpected extracted audio")
    print("视频: mpeg4 640x360, 50 帧, 40 ms 间隔")
    print("封装音频: aac 48000 Hz 单声道")
    print("提取音轨: pcm_s16le 16000 Hz 单声道")


def main():
    folder = Path(Path(mkdtemp(prefix="media-demo-", dir=".")).name)
    source, converted, voice, output = [str(folder / name) for name in (
        "source.mkv", "converted.mp4", "voice.wav", "normalized.mp4",
    )]
    encode(
        "-f", "lavfi", "-i", "testsrc2=size=1280x720:rate=30",
        "-f", "lavfi", "-i", "sine=frequency=440:sample_rate=48000",
        "-map", "0:v:0", "-map", "1:a:0", "-t", "2",
        "-c:v", "ffv1", "-c:a", "pcm_s16le", source,
    )
    summary = probe(source, "stream=codec_name,codec_type")
    if [row["codec_name"] for row in summary["streams"]] != ["ffv1", "pcm_s16le"]:
        raise ValueError("unexpected source streams")
    encode("-i", source, "-map", "0:v:0", "-map", "0:a:0", "-c:v", "mpeg4", "-q:v", "5", "-c:a", "aac", converted)
    encode("-i", source, "-map", "0:a:0", "-ac", "1", "-ar", "16000", "-c:a", "pcm_s16le", voice)
    vf = (
        "scale=640:360:force_original_aspect_ratio=decrease:force_divisible_by=2:reset_sar=1,"
        "pad=640:360:(ow-iw)/2:(oh-ih)/2,fps=25"
    )
    encode(
        "-i", source, "-map", "0:v:0", "-map", "0:a:0", "-vf", vf,
        "-c:v", "mpeg4", "-q:v", "5", "-c:a", "aac", output,
    )
    verify(output, voice)
    print("生成源文件、转码文件、独立音轨和标准化视频")


if __name__ == "__main__":
    main()

预期输出

text
视频: mpeg4 640x360, 50 帧, 40 ms 间隔
封装音频: aac 48000 Hz 单声道
提取音轨: pcm_s16le 16000 Hz 单声道
生成源文件、转码文件、独立音轨和标准化视频

缩放保持显示宽高比,必要时补边。reset_sar=1 需本机 scale 滤镜支持,可通过 ffmpeg -h filter=scale 核对。帧率滤镜按时间戳丢帧或重复帧,输出实际间隔由 FFprobe 检查。真实项目有多个音轨时,先按语言、用途和流索引选择。此处明示选取第一视频流与第一音频流。

排错与练习

常见失败首先来自编码器不可用、目标容器不兼容或滤镜参数错误。若命令提示 Unknown encoder,应检查当前 FFmpeg 构建支持的编码器并改用可用编码;若目标文件已存在,优先用独立输出路径,并按任务确认是否可以覆盖。若输出画面变形,应使用保持宽高比的缩放表达式,并在需要时补边。

练习一:把脚本的目标分辨率改为 960x540、帧率改为 24,并让摘要输出对应参数。验收条件是 FFprobe 返回 960x540 与 24/1。

练习二:新增一个仅改变封装格式的流复制步骤,并比较它与重新编码步骤的耗时和文件大小。验收条件是说明哪些参数可通过流复制保留,哪些参数必须重新编码才能改变。

本课总结

  • FFprobe 用于读取和验证媒体元数据,FFmpeg 用于实际处理媒体流
  • 流复制适合只改封装,通过滤镜缩放、转换帧率或重采样需要重新编码
  • 可重复的媒体处理流程应包含输入探测、处理执行和输出复核三个阶段

下一课预告

下一课将学习《媒体数据质量检查》,把削波、噪声、静音、模糊、丢帧和人脸遮挡风险转换为可量化指标,并生成统一的质量报告。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

FFmpeg 音视频处理入门

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通