编码与格式 / 系统课时
减少内存拷贝开销
减少内存拷贝开销
本课解决硬件解码已经启用、性能却没有明显提升的问题。你将从帧所在的内存位置分析传输成本,使用 VideoToolbox 硬件帧与 scale_vt 完成缩放,并学会判断何时必须下载到系统内存。
学习目标
- 区分系统内存帧与硬件帧,定位 CPU 和 GPU 之间的拷贝边界
- 使用硬件解码、硬件滤镜和硬件编码组成连续处理链
- 正确使用
hwupload、hwdownload与像素格式转换,避免无效往返
先从数据路径定位开销
硬件加速的关键不只是“用了硬件编码器”,而是帧能否一直留在同一硬件设备中。若硬件解码后的帧先下载到系统内存执行 CPU 滤镜,再上传给硬件编码器,就会产生两次大块内存传输。

判断链路时,应逐个检查解码器输出格式、每个滤镜接受的帧类型以及编码器输入格式。只要中间出现 CPU 专用滤镜,硬件帧通常就必须回到系统内存。
检查硬件帧与滤镜能力
先确认当前 FFmpeg 构建包含 VideoToolbox 像素格式和目标硬件滤镜。scale_vt 只有在本机构建列出时才能使用,不能把其他平台的 scale_cuda、scale_vaapi 直接替换为它。
ffmpeg -hide_banner -filters | grep -E 'scale_vt|hwupload|hwdownload'
ffmpeg -hide_banner -pix_fmts | grep videotoolbox预期输出应至少包含本例需要的 scale_vt 与 VideoToolbox 硬件像素格式;标志位和描述可能因版本而不同:
<FILTER_FLAGS> scale_vt <DESCRIPTION>
<FILTER_FLAGS> hwdownload <DESCRIPTION>
<FILTER_FLAGS> hwupload <DESCRIPTION>
<PIXEL_FORMAT_FLAGS> videotoolbox_vld <COMPONENTS> <BITS>若没有 scale_vt,本例不能形成完整的 VideoToolbox 硬件缩放链。此时可以升级或更换构建,也可以回退到 CPU 缩放,但必须接受一次下载和后续上传的成本。
构建连续的硬件处理链
下面的主示例让支持的输入通过 VideoToolbox 解码为硬件帧,使用 scale_vt 缩放到 1280×720,再交给 VideoToolbox H.264 编码器。-benchmark 会在任务结束时输出进程时间,便于与软件链路对比。
ffmpeg -hide_banner -y -benchmark \
-hwaccel videotoolbox \
-hwaccel_output_format videotoolbox_vld \
-i "<INPUT>" \
-vf "scale_vt=w=1280:h=720" \
-c:v h264_videotoolbox -b:v 4M \
-c:a copy \
"<OUTPUT>"
ffprobe -v error -select_streams v:0 \
-show_entries stream=codec_name,width,height \
-of default=noprint_wrappers=1 "<OUTPUT>"预期输出包含动态基准时间,以及固定的输出编码与尺寸:
bench: utime=<TIME>s stime=<TIME>s rtime=<TIME>s
codec_name=h264
width=1280
height=720输入必须是本机 VideoToolbox 能解码的格式,输出容器也必须允许复制原音频流。若 -c:a copy 因音频与容器不兼容而失败,可改用 AAC 编码;这不会改变视频硬件帧链路。
理解上传、下载与格式转换
hwupload 把系统内存帧上传到硬件帧池,适合“软件解码或 CPU 滤镜之后进入硬件处理”的场景。hwdownload 把硬件帧取回系统内存,适合必须使用 drawtext、部分复杂叠加或其他 CPU 滤镜的场景。
下面是两类滤镜链的片段示例,不能脱离已创建的硬件设备和完整输入输出参数独立运行:
format=nv12,hwupload,<HARDWARE_FILTER>
hwdownload,format=nv12,<CPU_FILTER>,format=nv12,hwupload第一条链只在进入硬件处理前上传一次。第二条链为了执行 CPU 滤镜先下载,处理后又上传;它并非错误,但应确认该 CPU 滤镜确实不可替代,并尽量把多个 CPU 滤镜集中在同一次下载与上传之间。
format 负责约束软件帧像素格式,不能代替 hwupload 或 hwdownload。硬件帧格式、软件像素格式和设备上下文是三个不同概念,混用时常见报错是滤镜格式协商失败。
按顺序减少不必要的复制
优化时先删除无用的像素格式转换,再把缩放、裁剪或色彩转换替换为同一后端支持的硬件滤镜。之后检查是否存在隐藏的 CPU 滤镜,最后才调整线程数、码率和预设等编码参数。
若业务必须添加 CPU 水印或字幕,可以选择一次性下载,在系统内存中完成所有 CPU 滤镜,再上传编码。不要在滤镜图中多次交替使用硬件滤镜与 CPU 滤镜,否则同一帧可能反复跨越设备边界。
Tips:
-c:v copy不解码也不运行滤镜,通常比任何硬件转码都省资源,但它只能改封装或复制码流,不能缩放、叠加水印或改变编码参数。
验证优化是否真实有效
比较方案时应固定输入文件、输出参数和运行环境,至少记录总耗时、处理速度、CPU 占用、硬件媒体引擎占用与输出文件是否正确。只看某一项指标,容易把更快但画质不同的方案误判为优化。
日志中出现硬件解码器和硬件编码器名称,只能证明两端启用了硬件能力;还要确认中间滤镜没有插入 hwdownload,并检查输出尺寸、颜色与音画同步是否符合预期。